كاكتس نيدل: نموذج من ٢٦ مليون معامل يعمل محلياً بسرعة ٦,٠٠٠ رمز في الثانية
كاكتس نيدل هو نموذج من ٢٦ مليون معامل بشبكة اهتمام بسيطة مُقطَّر من جيميناي ٣.١ من جوجل، مصمم للعمل بالكامل محلياً على أجهزة استهلاكية. على ماك، يحقق ٦,٠٠٠ رمز في الثانية للتعبئة و١,٢٠٠ رمز في الثانية لفك التشفير — سرعات تجعل الذكاء الاصطناعي على الجهاز عملياً لأول مرة على مستوى الجودة هذا.
أوزان النموذج مفتوحة بالكامل، مما يُمكّن المطورين من الضبط الدقيق والضغط والنشر عبر الأجهزة الطرفية بدون أي قيود ترخيص. البنية تستخدم آلية اهتمام مبسطة تقلل بشكل كبير من العبء الحسابي مع الحفاظ على قدرات استدلال مفيدة.
الأهمية الاستراتيجية تمتد إلى ما وراء النموذج نفسه. يمثل كاكتس نيدل المسار الناشئ للذكاء الاصطناعي الحقيقي على الأجهزة للإلكترونيات الاستهلاكية — الهواتف والساعات الذكية ونظارات الواقع المعزز وأجهزة إنترنت الأشياء. عند ٢٦ مليون معامل، النموذج صغير بما يكفي ليناسب شرائح الحواف بسهولة وذكي بما يكفي للتعامل مع مهام مثل توليد النص والتلخيص والاستدلال الأساسي بدون أي اعتماد على السحابة.
للمطورين في منطقة الشرق الأوسط وشمال أفريقيا، هذا ذو صلة خاصة. الذكاء الاصطناعي على الجهاز يلغي مشاكل زمن الاستجابة الناتجة عن البعد عن مراكز بيانات مزودي الخدمات السحابية الكبار ويعمل بشكل موثوق بغض النظر عن اتصال الإنترنت — ميزة عملية في مناطق ذات بنية تحتية شبكية متغيرة. الأوزان المفتوحة تعني أيضاً أن المطورين يمكنهم ضبط النموذج لمهام اللغة العربية بدون الاعتماد على مزودي واجهات برمجة التطبيقات الخارجيين.
كاكتس نيدل هو لمحة عن وجهة الذكاء الاصطناعي لـ ٩٠٪ من حالات الاستخدام: ليس نماذج أكبر في السحابة بل نماذج صغيرة قادرة على كل جهاز. لمطوري منطقة الشرق الأوسط وشمال أفريقيا، الذكاء الاصطناعي على الجهاز يزيل حواجز زمن الاستجابة والاتصال التي قيدت تاريخياً تبني الذكاء الاصطناعي في المنطقة.
هل يمكن لكاكتس نيدل فعلاً العمل على هاتف؟
عند ٢٦ مليون معامل، النموذج صغير بما يكفي للعمل على محركات عصبية حديثة للهواتف الذكية. يحقق ٦,٠٠٠ رمز/ثانية في التعبئة على ماك، مما يشير لسرعات مشابهة أو أقل قليلاً على أجهزة المحمول — لا تزال سريعة بما يكفي لحالات الاستخدام في الوقت الفعلي.