أصدر باحثون من معهد ماساتشوستس للتكنولوجيا وجامعة نورث إيسترن وميتا مؤخرًا ورقة بحثية تشير إلى أن نماذج اللغات الكبيرة (LLMs) المشابهة لتلك التي تدعم ChatGPT قد تعطي أحيانًا الأولوية لبنية الجملة على المعنى عند الإجابة على الأسئلة. تكشف النتائج عن ضعف في كيفية معالجة هذه النماذج للتعليمات التي قد تسلط الضوء على سبب نجاح بعض أساليب الحقن الفوري أو كسر الحماية، على الرغم من أن الباحثين يحذرون من أن تحليلهم لبعض نماذج الإنتاج لا يزال تخمينيًا نظرًا لأن تفاصيل بيانات التدريب لنماذج الذكاء الاصطناعي التجارية البارزة ليست متاحة للجمهور.
قام الفريق، بقيادة شانتال شايب وفينيث م. سورياكومار، باختبار ذلك من خلال طرح أسئلة على النماذج مع أنماط نحوية محفوظة ولكن بكلمات لا معنى لها. على سبيل المثال، عندما يُطلب منك “الجلوس سريعًا في باريس ملبدة بالغيوم؟” (تقليدًا لبنية “أين تقع باريس؟”)، ما زالت العارضات يجيبن “فرنسا”.
يشير هذا إلى أن النماذج تمتص كلاً من المعنى والأنماط النحوية، ولكنها يمكن أن تعتمد بشكل مفرط على الاختصارات الهيكلية عندما ترتبط بقوة بمجالات محددة في بيانات التدريب، مما يسمح أحيانًا للأنماط بتجاوز الفهم الدلالي في حالات الحافة. ويخطط الفريق لتقديم هذه النتائج في NeurIPS في وقت لاحق من هذا الشهر.
لتجديد المعلومات، يصف بناء الجملة بنية الجملة – كيفية ترتيب الكلمات نحويًا وأجزاء الكلام التي تستخدمها. يصف علم الدلالة المعنى الفعلي الذي تنقله تلك الكلمات، والذي يمكن أن يختلف حتى عندما يظل الهيكل النحوي كما هو.
تعتمد الدلالات بشكل كبير على السياق، والتنقل في السياق هو ما يجعل LLMs تعمل. تتضمن عملية تحويل المدخلات، الموجه الخاص بك، إلى مخرجات، إجابة LLM، سلسلة معقدة من مطابقة الأنماط مقابل بيانات التدريب المشفرة.
لمعرفة متى وكيف يمكن أن تسوء عملية مطابقة الأنماط هذه، صمم الباحثون تجربة مضبوطة. لقد أنشأوا مجموعة بيانات تركيبية من خلال تصميم المطالبات التي يكون فيها لكل موضوع قالب نحوي فريد يعتمد على أنماط جزء من الكلام. على سبيل المثال، اتبعت أسئلة الجغرافيا نمطًا بنيويًا واحدًا بينما اتبعت الأسئلة المتعلقة بالأعمال الإبداعية نمطًا آخر. ثم قاموا بتدريب نماذج أولمو الخاصة بـ Allen AI على هذه البيانات واختبروا ما إذا كانت النماذج يمكنها التمييز بين بناء الجملة والدلالات.
