جدول المحتويات
يحتاج نموذج LLM داخل المنشأة إلى ذاكرة GPU كافية لثلاثة أشياء: أوزان النموذج، وذاكرة مؤقتة للمفاتيح والقيم (KV cache) لكل طلب قيد المعالجة، ومتطلبات التشغيل. ونموذج من 72 مليار معامل بدقة 8 بت يشغل نحو 73 غيغابايت لأوزانه وحدها، لذلك يحتاج حتى المشروع التجريبي إلى بطاقة بسعة 96 غيغابايت أو بطاقتين بسعة 48 غيغابايت، ومزيد من المستخدمين يعني مزيدًا من الذاكرة المؤقتة.
أهم النقاط
- تشغل الأوزان نحو 2 غيغابايت لكل مليار معامل بدقة 16 بت، ونحو النصف بـ8 بت، والربع بـ4 بت (Hugging Face).
- تكبر ذاكرة KV مع كل token يُحتفظ به في الذاكرة. ففي Qwen2.5-72B تبلغ نحو 0.33 ميغابايت لكل token بدقة 16 بت، أي أن سؤالًا واحدًا عن الوثائق بطول 6,500 token يحتاج نحو 2.1 غيغابايت، وفق حساب مبني على إعدادات النموذج.
- حدّد الحجم وفق الطلبات الجارية، لا وفق عدد المستخدمين المسجلين. فقد لا يرسل بضع مئات من المستخدمين سوى بضعة طلبات في اللحظة نفسها.
- تتحدد سرعة التوليد أساسًا بعرض نطاق الذاكرة لا بقدرة الحساب (NVIDIA). ونماذج مزيج الخبراء لا تستخدم سوى جزء من أوزانها لكل token فتجيب أسرع (Hugging Face).
- قِس بموجّهاتك ومحرك الخدمة الخاص بك قبل طلب العتاد.
ما الذي يشغل ذاكرة GPU عند تشغيل LLM؟
تتقاسم ثلاثة عناصر ذاكرة وحدة GPU.
الأوزان. وهي معاملات النموذج. فتحميل نموذج من X مليار معامل يحتاج نحو 2 × X غيغابايت بدقة bfloat16 (Hugging Face). ويقلل التكميم (quantization) إلى 8 أو 4 بت هذه الحاجة؛ ويقدّم دليلنا للذكاء الاصطناعي السيادي داخل المنشأة جدولًا لأحجام النماذج الشائعة.
ذاكرة KV. أثناء التوليد يحتفظ النموذج بالمفاتيح والقيم المحسوبة لكل token سابق حتى لا يعيد حسابها في كل خطوة. وتكبر هذه الذاكرة خطيًا مع عدد الـ tokens (Hugging Face). ولكل طلب قيد المعالجة ذاكرته الخاصة.
متطلبات التشغيل. التنشيطات (activations) وبيئة تشغيل CUDA والمخازن المؤقتة لمحرك الخدمة. نخصص لها في هذا المقال 10% من ذاكرة GPU. وهذا افتراض؛ تحقق من الرقم الفعلي في سجلات محرك الخدمة لديك.
ذاكرة الأوزان ثابتة بمجرد اختيار النموذج والدقة. أما ذاكرة KV فتتوقف على طريقة استخدام فرقكم للنظام، ولهذا يخطئ التحجيم المبني على النموذج وحده.
كيف تُحسب ذاكرة KV؟
تقدّم NVIDIA المعادلة التالية: حجم ذاكرة KV لكل token بالبايت = 2 × عدد الطبقات × (عدد رؤوس الانتباه × بُعد الرأس) × عدد البايتات لكل قيمة (NVIDIA). ويمثل العدد 2 المفاتيح والقيم. وفي مثال NVIDIA، يحتاج Llama 2 7B بدقة 16 بت نحو 2 غيغابايت من ذاكرة KV لتسلسل واحد من 4,096 token.
تستخدم نماذج حديثة كثيرة، منها النموذج المستخدم في المثال أدناه، الانتباه بالاستعلامات المجمّعة (GQA)، الذي يخزن عددًا صغيرًا من رؤوس المفاتيح والقيم، مثل 2 أو 4 أو 8، بدل رأس لكل رأس استعلام، ويحتفظ تقريبًا بكل التوفير في الذاكرة الذي يحققه الانتباه متعدد الاستعلامات الأكثر تشددًا (Hugging Face). وفي هذه النماذج استخدم في المعادلة عدد رؤوس المفاتيح والقيم، وتجده في ملف config.json الخاص بالنموذج.
إليك مثالًا محسوبًا على Qwen2.5-72B-Instruct، وهو نموذج من 72.7 مليار معامل يذكر الفرنسية والعربية ضمن لغاته المدعومة (بطاقة النموذج). وتذكر إعداداته 80 طبقة و64 رأس انتباه و8 رؤوس للمفاتيح والقيم وبُعدًا مخفيًا قدره 8,192، أي 8,192 ÷ 64 = 128 بُعدًا لكل رأس.
- لكل token بدقة 16 بت: 2 × 80 × 8 × 128 × 2 بايت = 327,680 بايت، أي نحو 0.33 ميغابايت.
- لكل سؤال عن الوثائق: موجّه RAG من 6,000 token مع إجابة من 500 token، وهو حجم العمل نفسه الذي قدّرنا تكلفته في مقارنة التكلفة، يشغل 6,500 token: نحو 2.1 غيغابايت.
- لكل طلب طويل: عند 32,768 token، وهو الطول المحدد في ملف الإعدادات، يحتاج الطلب الواحد نحو 10.7 غيغابايت.
- لعشرين سؤالًا جاريًا في الوقت نفسه: نحو 42.6 غيغابايت، أي أكثر من نصف حجم الأوزان بدقة 8 بت.
يغيّر إعدادان هذه الأرقام. فتخزين ذاكرة KV بصيغة FP8 بدل 16 بت يخفض عدد البايتات لكل قيمة إلى النصف؛ وتدعم vLLM ذلك وتذكر أنه يسمح لوحدة GPU بالاحتفاظ بعدد أكبر من الـ tokens (vLLM). كما أن تحديد الطول الأقصى للسياق والعدد الأقصى للتسلسلات المتزامنة يقلل استهلاك الذاكرة (vLLM).
وللغة أثرها أيضًا. فالنص نفسه قد ينتج أعدادًا مختلفة جدًا من الـ tokens حسب اللغة، بفوارق تصل إلى 15 ضعفًا في بعض الحالات (Petrov et al., 2023). مرّر عينة من وثائقك بالعربية والفرنسية على المُجزّئ (tokenizer) الخاص بالنموذج قبل أن تحدد عدد الـ tokens لكل طلب.
كم طلبًا يرسل المصنع في الوقت نفسه؟
عدد الطلبات الجارية يساوي معدل الوصول مضروبًا في مدة كل طلب. فلثلاثمئة مستخدم يطرح كل منهم 20 سؤالًا في يوم العمل، مع تركّز 15% من أسئلة اليوم البالغة 6,000 سؤال في ساعة الذروة (افتراض)، تبلغ الذروة 900 سؤال في الساعة، أي 0.25 سؤال في الثانية. وإذا استغرقت كل إجابة 25 ثانية، فهناك في المتوسط نحو 6 طلبات قيد المعالجة.
لا تصل الطلبات بانتظام، لذلك نحدد الحجم في المثال أدناه على أساس 20 طلبًا جاريًا، أي أكثر بقليل من ثلاثة أضعاف المتوسط (افتراض). استبدل هذه الأرقام بسجلات مشروعك التجريبي: عدد المستخدمين، والأسئلة في اليوم، والـ tokens لكل سؤال، وساعة الذروة.
ما سرعة إجابة النموذج؟
يتطلب توليد كل token قراءة أوزان النموذج من ذاكرة GPU، وتصف NVIDIA الاستدلال بأنه كثيرًا ما يكون مقيّدًا بعرض نطاق الذاكرة («memory-bandwidth bound»)، خاصة فيما يتعلق بالأوزان (NVIDIA). والحد الأعلى التقريبي لطلب واحد هو عرض نطاق الذاكرة مقسومًا على عدد بايتات الأوزان المقروءة لكل token.
لنموذج كثيف (dense) من 72.7 مليار معامل بدقة 8 بت، أي نحو 73 غيغابايت، على بطاقة بعرض نطاق 1,597 غيغابايت/ثانية، يعطي ذلك في أحسن الأحوال نحو 22 token في الثانية لطلب منفرد، أي نحو 23 ثانية لإجابة من 500 token. وتجمع محركات الخدمة الطلبات في دفعات بحيث تتوزع كلفة تحميل الأوزان على طلبات كثيرة (NVIDIA). فيرتفع الإنتاج الإجمالي، بينما تبقى سرعة الإجابة الواحدة دون هذا الحد.
تغيّر نماذج مزيج الخبراء (MoE) هذه المعادلة. فكل معاملاتها يجب أن تكون في الذاكرة، لكن جزءًا منها فقط يُستخدم لكل token (Hugging Face). ونموذج gpt-oss-120b من OpenAI يضم 117 مليار معامل منها 5.1 مليار نشطة، ويتسع على وحدة GPU واحدة بسعة 80 غيغابايت (بطاقة النموذج). وعلى بطاقة RTX PRO 6000 Blackwell واحدة، قاس موقع Hardware Corner سرعة توليد بلغت 148 token في الثانية مع سياق من 12,000 token و62 غيغابايت من الذاكرة المستخدمة، باستعمال llama.cpp ومستخدم واحد.
أي وحدات GPU لمراكز البيانات تناسب أي نماذج؟
المواصفات مأخوذة من صفحات منتجات NVIDIA، وقد راجعناها في نوفمبر 2026. والعمود الأخير حسابنا لنموذج من نحو 72 مليار معامل بدقة 8 بت، مع استخدام 90% من الذاكرة.
| وحدة GPU | الذاكرة | عرض نطاق الذاكرة | القدرة القصوى | الربط بين وحدات GPU | نموذج 72B بدقة 8 بت |
|---|---|---|---|---|---|
| L40S | 48 غيغابايت GDDR6 | 864 غيغابايت/ثانية | 350 واط | دون NVLink؛ PCIe Gen4 | يحتاج بطاقتين؛ نحو 14 غيغابايت لذاكرة KV |
| H100 SXM | 80 غيغابايت | 3.35 تيرابايت/ثانية | حتى 700 واط | NVLink بسرعة 900 غيغابايت/ثانية | لا يتسع على بطاقة واحدة |
| H100 NVL | 94 غيغابايت | 3.9 تيرابايت/ثانية | من 350 إلى 400 واط | NVLink بسرعة 600 غيغابايت/ثانية | يتسع؛ نحو 12 غيغابايت لذاكرة KV |
| RTX PRO 6000 Blackwell Server Edition | 96 غيغابايت GDDR7 | 1,597 غيغابايت/ثانية | حتى 600 واط | PCIe Gen5؛ لا ذكر لـ NVLink | يتسع؛ نحو 14 غيغابايت لذاكرة KV |
| H200 NVL | 141 غيغابايت | 4.8 تيرابايت/ثانية | حتى 600 واط | جسر NVLink ثنائي أو رباعي، 900 غيغابايت/ثانية | يتسع؛ نحو 54 غيغابايت لذاكرة KV |
تصف NVIDIA أرقام H200 بأنها أولية. والأسعار تتغير كثيرًا؛ وتقدّم مقارنة التكلفة أرقامًا موثقة المصادر لتهيئة واحدة.
متى تحتاج إلى أكثر من وحدة GPU؟
تحدد وثائق vLLM الترتيب كالتالي: إذا اتسع النموذج على وحدة GPU واحدة فالاستدلال الموزّع غالبًا غير ضروري؛ وإذا اتسع على خادم واحد بعدة وحدات فاستخدم التوازي الموتّري (tensor parallelism)؛ وما زاد على خادم واحد فاجمع بين التوازي الموتّري والتوازي عبر خط الأنابيب (pipeline parallelism) (vLLM). ويقسّم التوازي الموتّري طبقات منفردة بين وحدات GPU (NVIDIA)، لذا فإن الربط بين البطاقات مهم. وفي الخوادم التي تفتقر وحداتها إلى NVLink، مثل L40S، توصي vLLM بالتوازي عبر خط الأنابيب بدلًا منه، لأن كلفة الاتصال فيه أقل.
ولوحدة GPU ثانية مبررات أخرى غير الحجم: فهي توفر الاحتياط ومساحة لجزء الاسترجاع في نظام RAG، مثل نموذج التضمين (embedding). وتدعم بطاقة RTX PRO 6000 Server Edition تقنية MIG التي تقسم البطاقة الواحدة إلى ما يصل إلى أربع نسخ معزولة (NVIDIA).
مثال محسوب: مساعد وثائقي لـ 300 مستخدم
الهدف: Qwen2.5-72B، وطلبات من 6,500 token، و20 طلبًا جاريًا، وذاكرة KV بدقة 16 بت، مع تخصيص 10% من الذاكرة لمتطلبات التشغيل. والغيغابايت هنا يساوي 10⁹ بايت.
| التهيئة | الذاكرة الإجمالية | القابلة للاستخدام (90%) | الأوزان | المتبقي لذاكرة KV | الطلبات الممكنة |
|---|---|---|---|---|---|
| 1 × RTX PRO 6000، أوزان بدقة 8 بت | 96 غيغابايت | 86.4 غيغابايت | 72.7 غيغابايت | 13.7 غيغابايت | نحو 6 |
| 2 × RTX PRO 6000، أوزان بدقة 16 بت | 192 غيغابايت | 172.8 غيغابايت | 145.4 غيغابايت | 27.4 غيغابايت | نحو 12 |
| 2 × RTX PRO 6000، أوزان بدقة 8 بت | 192 غيغابايت | 172.8 غيغابايت | 72.7 غيغابايت | 100.1 غيغابايت | نحو 47 |
| 1 × H200 NVL، أوزان بدقة 8 بت | 141 غيغابايت | 126.9 غيغابايت | 72.7 غيغابايت | 54.2 غيغابايت | نحو 25 |
وحدهما التهيئتان الأخيرتان تحققان هدف 20 طلبًا مع هامش. أما البطاقة الواحدة فتغطي تقريبًا الحمل المتوسط البالغ 6 طلبات، لكنها لا تغطي الذروات. وأرقام الأوزان بدقة 8 بت تقريبية، لأن الصيغ المكمَّمة تخزن بعض بيانات المقياس الإضافية. وقد وجدت Hugging Face أنه لا تراجع يُذكر بدقة 8 بت في مثالها (Hugging Face)، لكن اختبر الجودة على أسئلتك الخاصة قبل اعتماد هذا الخيار.
ما الذي يحتاجه الخادم أيضًا؟
- التغذية الكهربائية والتبريد. قد تستهلك أربع بطاقات بقدرة تصل إلى 600 واط لكل منها 2.4 كيلوواط قبل احتساب المعالجات والذاكرة والمراوح. تحقق من القدرة المتاحة في الرف ومن جهاز عدم انقطاع التيار (UPS) ومن قدرة التبريد في القاعة التي سيوضع فيها الخادم قبل الطلب.
- التخزين. حجم ملفات النموذج قريب من حجم الأوزان؛ ويذكر Hardware Corner أن ملف gpt-oss-120b الذي اختبره بلغ 65 غيغابايت. احتفظ بالنسخة السابقة من النموذج على القرص حتى تتمكن من الرجوع إليها.
- بيئة اختبار. وحدة GPU أصغر لتجربة النسخ الجديدة من النماذج والموجّهات قبل وصولها إلى المستخدمين.
- تصميم الشبكة. إذا كان الموقع معزولًا، فخطط لطريقة إدخال النماذج والتحديثات إليه. راجع دليلنا حول نشر الذكاء الاصطناعي في بيئة معزولة (air-gapped).
كيف تحدد حجم خادمك؟
- اختر نموذجين أو ثلاثة مرشحة وتحقق من تراخيصها ولغاتها.
- اقرأ ملف
config.jsonلكل نموذج واحسب ذاكرة KV لكل token. - قِس عدد الـ tokens لكل طلب على عينة من أسئلة حقيقية بالعربية والفرنسية والإنجليزية مع المقاطع المسترجعة. ويشرح دليلنا لنظام RAG على أدلة الصيانة كيف تُبنى الموجّهات.
- قدّر الطلبات الجارية انطلاقًا من عدد المستخدمين المتوقع والأسئلة في اليوم وساعة الذروة.
- اجمع الأوزان وذاكرة KV للذروة ومتطلبات التشغيل، ثم اختر تهيئة GPU مع هامش.
- أجرِ اختبار حمل على التهيئة المختارة بمحرك الخدمة الخاص بك قبل توقيع الطلبية.
وإذا كنت لا تزال تفاضل بين الاسترجاع والتدريب على وثائقك، فاقرأ أولًا الضبط الدقيق أم RAG لمساعد صناعي، لأن لكل منهما احتياجات مختلفة من العتاد.
ما الذي لاحظناه في KABAS AI
يعمل DALILE على خوادم العميل نفسه ويجيب عن الأسئلة انطلاقًا من الوثائق وجداول البيانات وقواعد البيانات، لذلك فإن تحديد حجم العتاد جزء من التخطيط لكل عملية نشر. والأرقام الواردة في هذا المقال أرقام منشورة للعموم، وليست قياسات من مواقع العملاء. والدرس العملي من هذه المنهجية هو القياس قبل الشراء: فعينة من الأسئلة الحقيقية وعدد الـ tokens فيها والذروة المتوقعة تحدد الخادم أكثر مما يحدده اسم النموذج. ويمكن لفريق الاستشارات لدينا إجراء هذا الحساب بوثائقك وأرقام الاستخدام الخاصة بك.
المصادر
راجعنا المواصفات في نوفمبر 2026. وهي تتغير مع الإصدارات الجديدة من المنتجات؛ أعد التحقق منها قبل الطلب.
- NVIDIA: Mastering LLM Techniques, Inference Optimization
- Hugging Face: Optimizing LLMs for speed and memory
- Hugging Face: Mixture of Experts explained
- Qwen2.5-72B-Instruct، بطاقة النموذج
- Qwen2.5-72B-Instruct، ملف config.json
- openai/gpt-oss-120b، بطاقة النموذج
- vLLM: Quantized KV cache
- vLLM: Conserving memory
- vLLM: Parallelism and scaling
- Petrov et al., Language Model Tokenizers Introduce Unfairness Between Languages, 2023
- Hardware Corner: Testing GPT-OSS 120B on RTX Pro 6000 Blackwell
- NVIDIA L40S GPU
- NVIDIA H100 Tensor Core GPU
- NVIDIA RTX PRO 6000 Blackwell Server Edition
- NVIDIA H200 Tensor Core GPU
الأسئلة الشائعة
كم تحتاج من ذاكرة GPU لنموذج من 70 مليار معامل؟
للأوزان وحدها، نحو 140 غيغابايت بدقة 16 بت، ونحو 70 غيغابايت بـ8 بت، ونحو 35 غيغابايت بـ4 بت، وفق القاعدة التقريبية لـ Hugging Face التي تقدّر نحو 2 غيغابايت لكل مليار معامل بدقة bfloat16. ثم تحتاج إلى ذاكرة إضافية لذاكرة KV الخاصة بكل طلب قيد المعالجة ولتشغيل المحرك، لذلك لا يتسع نموذج من 70 مليار معامل بدقة 8 بت بشكل مفيد على وحدة GPU واحدة بسعة 80 غيغابايت.
هل يمكن تشغيل LLM داخل المنشأة على بطاقة رسومية استهلاكية أو بطاقة محطة عمل؟
يمكن تشغيل النماذج الصغيرة على بطاقات بسعة 16 إلى 32 غيغابايت؛ وتذكر OpenAI أن gpt-oss-20b يعمل ضمن 16 غيغابايت من الذاكرة. أما لمساعد مشترك يخدم عددًا كبيرًا من المستخدمين، فالأنسب النظر في بطاقات الخوادم: فبطاقتا L40S وRTX PRO 6000 Server Edition من NVIDIA مثلًا تحملان 48 و96 غيغابايت من ذاكرة ECC ومصممتان لخوادم الرفوف. وأيًّا كانت البطاقة، اختبرها تحت الحمل المتوقع.
هل الأفضل شراء وحدة GPU كبيرة واحدة أم عدة وحدات أصغر؟
إذا اتسع النموذج وذاكرته المؤقتة على وحدة GPU واحدة، فالوحدة الواحدة أبسط: إذ تقول وثائق vLLM إن الاستدلال الموزّع غالبًا غير ضروري في هذه الحالة. وتسمح عدة وحدات بتشغيل نماذج أكبر أو عدد أكبر من الطلبات المتزامنة، لكن البطاقات تحتاج إلى تبادل البيانات، وتوصي vLLM بطريقة أخرى لتقسيم النموذج عندما لا تتوفر NVLink. كما توفر بطاقتان قدرًا من الاحتياط.
هل يخفّض التكميم جودة الإجابات؟
قد يحدث ذلك. تذكر Hugging Face أنها لم تلاحظ تراجعًا يُذكر بدقة 8 بت في مثالها، وتنبّه إلى أن نتائج 4 بت قد تبتعد أكثر عن الدقة الكاملة. شغّل مجموعة الأسئلة الحقيقية الخاصة بك على النسخة المكمَّمة وغير المكمَّمة قبل الاختيار، وتحقق من الإجابات بالعربية والفرنسية كلٌّ على حدة.
كم مستخدمًا يمكن أن يخدم خادم GPU واحد؟
يتوقف ذلك على عدد الطلبات قيد المعالجة في اللحظة نفسها، وطول كل موجّه (prompt)، وسرعة الإجابة المطلوبة، لا على عدد المستخدمين المسجلين. قدّر الطلبات الجارية بضرب عدد الطلبات في الثانية في مدة الإجابة بالثواني، ثم حدد حجم ذاكرة KV لهذا العدد مع هامش، وأكّد ذلك باختبار حمل على موجّهاتك الخاصة.



