أحدثت النماذج اللغوية مثل ChatGPT ثورة في مجال معالجة اللغة الطبيعية ، لكنها ما زالت تكافح مع بعض المهام الأساسية مثل الحساب وتدقيق الحقائق. كشف باحثون من Meta Toolformer الخميس الماضي عن نموذج لغة ذكاء اصطناعي يمكنه تعليم نفسه استخدام أدوات خارجية مثل محركات البحث والآلات الحاسبة والتقويمات دون التضحية بقدرات النمذجة اللغوية الأساسية.
مفتاح Toolformer هو أنه يمكنه استخدام واجهات برمجة التطبيقات (واجهات برمجة التطبيقات) ، وهي مجموعة من البروتوكولات التي تسمح للتطبيقات المختلفة بالتواصل مع بعضها البعض ، غالبًا بطريقة سلسة وآلية. أثناء التدريب ، أعطى الباحثون Toolformer مجموعة صغيرة من الأمثلة المكتوبة من قبل الإنسان توضح كيفية استخدام كل واجهة برمجة تطبيقات ، ثم سمحوا لها بتعليق مجموعة بيانات كبيرة لنمذجة اللغة مع استدعاءات محتملة لواجهة برمجة التطبيقات. لقد فعلت ذلك بطريقة “ذاتية الإشراف” ، مما يعني أنها يمكن أن تتعلم دون الحاجة إلى توجيه بشري واضح.
تعلم النموذج أن يتنبأ بكل استدعاء نصي لواجهة برمجة التطبيقات كما لو كان أي شكل آخر من أشكال النص. عند التشغيل – إنشاء نص كنتيجة لإدخال بشري – يمكنه إدراج المكالمات عند الحاجة. علاوة على ذلك ، Toolformer يمكن أن “تقرر” بنفسها الأداة التي يجب استخدامها للسياق المناسب وكيفية استخدامها.
تمكن قدرة استدعاء واجهة برمجة التطبيقات Toolformer من استخدام أدوات البرامج الخارجية مثل محركات البحث والآلات الحاسبة ومترجمي اللغة والمراجع الواقعية. على سبيل المثال ، نماذج اللغات الكبيرة (LLM) معروفة جيدًا ليس جيدًا في الحساب بشكل خاص. يمكن لـ Toolformer التغلب على هذا القيد باستخدام برنامج الآلة الحاسبة. أو إذا أراد شخص ما مساعدًا قائمًا على LLM لإضافة تاريخ إلى التقويم الخاص به ، فيمكن لـ Toolformer التعامل مع هذه المهمة باستخدام رابط API لتطبيق التقويم.
-
يوضح الرسم التوضيحي الذي قدمه الباحث في Meta Timo Schick مثالاً على قيام Toolformer بإجراء استدعاء API لتطبيق التقويم.
-
يوضح الرسم التوضيحي الذي قدمه الباحث في Meta Timo Schick مثالاً على قيام Toolformer بإجراء استدعاء API لتطبيق الآلة الحاسبة.
-
يوضح الرسم التوضيحي الذي قدمه الباحث في Meta Timo Schick مثالاً على قيام Toolformer بإجراء استدعاء API لمرجع واقعي خارجي.
يعتمد Toolformer على نموذج GPT-J مدرب مسبقًا مع 6.7 مليار معلمة. يبدو أن التجارب التي أجراها الباحثون على مهام مختلفة باستخدام الأدوات توضح أن Toolformer يحقق أداءً أقوى بكثير من نموذج GPT-3 الأكبر بكثير ، والذي يحتوي على 175 مليار معلمة.
هذه ليست المرة الأولى التي يحاول فيها الباحثون تعويض القيود في نماذج اللغة. في الواقع ، يمكن لنموذج Bing Chat الأخير الذي يصدر الأخبار هذا الأسبوع إجراء عمليات بحث على الويب من تلقاء نفسه عند الحاجة ، وقد حاول البعض الآخر التكامل مع المتصفحات والآلات الحاسبة ومحركات البحث. وفقًا لباحثي Meta ، اعتمدت معظم الأساليب الحالية لدمج الأدوات في نماذج اللغة على كميات كبيرة من التعليقات التوضيحية البشرية أو اقتصرت على إعدادات خاصة بمهمة محددة. في المقابل ، يمكن أن يتعلم Toolformer استخدام مجموعة من الأدوات بطريقة عامة لا تتطلب تدريبًا متخصصًا لمهام محددة.
باستخدام تقنيات مثل تلك الموجودة في Toolformer ، فإننا نتطلع إلى مستقبل محتمل حيث تصبح LLMs المعززة بالقدرة على استخدام التطبيقات الخارجية مساعدين أكثر تنوعًا وموثوقية (ظاهريًا). لكن القدرة على إجراء استدعاءات واجهة برمجة التطبيقات قد تزيد أيضًا من قدرة LLM على التسبب في ضرر لبيانات المستخدم (في التطبيقات) أو خلق مشكلة في العالم الخارجي (من خلال متصفح الويب أو أدوات الاتصالات) – وهي إمكانيات قد يستدعونها عن طريق الخطأ أثناء تقديم إجابة . .
اكتشاف المزيد من عرب نيوز للتقنية
اشترك للحصول على أحدث التدوينات المرسلة إلى بريدك الإلكتروني.
