llama.cpp والتكميم الذي تحتاجه فعلاً

الخلاصة بالعربية

• التكميم يخزّن أوزان النموذج ببتات أقل، فيصغر الحجم ويزيد السرعة مقابل بعض الدقة.
• Q4_K_M نقطة البداية العملية، وQ5 عند الحاجة لجودة أعلى، وQ8 إن توفرت الذاكرة.
• ما دون Q3 يظهر تدهوراً واضحاً: تكرار وتجاهل للتعليمات.
• الضرر ليس موزعاً بالتساوي — المخرجات غير الإنجليزية تتأثر أولاً وأشد.
• اختبر العربية تحديداً عند مستوى التكميم الذي ستنشره، لا تعتمد على مقاييس الإنجليزية.

هذا المقال مكتوب بالإنجليزية ↓