Google TurboQuant تقلل ذاكرة النماذج اللغوية 6 أضعاف دون فقدان الدقة
ذاكرة KV cache، التي تخزن مفاتيح وقيم الانتباه عبر المحادثة، تمثل 80-90% من استهلاك ذاكرة GPU أثناء الاستدلال. هذا هو الاختناق الأساسي الذي يمنع نوافذ سياق أطول وإنتاجية أعلى على الأجهزة الحالية.
خوارزمية TurboQuant من Google Research، المُقدمة في ICLR 2026، تضغط KV cache إلى 3 بتات فقط لكل عنصر، محققة تقليل الذاكرة 6 أضعاف مع ضمان رياضي بعدم وجود فقدان للدقة. على معالجات NVIDIA H100، يوفر التنسيق المضغوط سرعة تصل إلى 8 أضعاف في حسابات الانتباه مقارنة بـ FP32.
الاختراق الحقيقي في البساطة: لا يتطلب TurboQuant إعادة تدريب النموذج أو تغييرات في البنية. يمكن تطبيقه فوراً. يستخدم الخوارزمية نظام تكميم مختلط الدقة يحافظ على دقة حاصل الضرب من خلال ضمانات رياضية.
بالنسبة لمنطقة الشرق الأوسط، حيث الوصول إلى GPU محدود بالفعل بسبب ضوابط التصدير وتبقى التكاليف مرتفعة، تهم تقنيات الضغط هذه بشكل غير متناسب. تقليل الذاكرة 6 أضعاف يعني خدمة 6 أضعاف المستخدمين المتزامنين للنموذج نفسه.
TurboQuant هو نوع المكاسب البنية التحتية التدريجية التي تتراكم. لبناة الشرق الأوسط خاصة، ضغط الذاكرة 6 أضعاف يعني القدرة على تشغيل استدلال بإنتاجية كاملة على أجهزة يمكن شراؤها فعلياً في المنطقة.
هل يتطلب TurboQuant إعادة تدريب النماذج الحالية؟
لا. يمكن تطبيق TurboQuant على النماذج الحالية دون إعادة تدريب أو تغييرات في البنية.