العمليات الرياضية واسترجاع الحقائق في كتاب مغلق تشترك في المسارات مع الحفظ، حيث انخفض الأداء إلى 66 إلى 86 بالمائة بعد التحرير. وجد الباحثون أن الحساب هش بشكل خاص. وحتى عندما قامت النماذج بإنشاء سلاسل تفكير متطابقة، فإنها فشلت في خطوة الحساب بعد إزالة المكونات ذات الانحناء المنخفض.
الشكل 3 من ورقة بحثية بعنوان “من الحفظ إلى الاستدلال في طيف انحناء الخسارة”.
الائتمان: ميرولو وآخرون.
يوضح الفريق: «يتم حفظ المسائل الحسابية نفسها على مقياس 7B، أو لأنها تتطلب توجيهات مستخدمة بشكل ضيق لإجراء حسابات دقيقة». أثبتت الإجابة على أسئلة الكتاب المفتوح، والتي تعتمد على السياق المقدم بدلاً من المعرفة الداخلية، أنها أقوى في إجراءات التحرير، مع الحفاظ على الأداء الكامل تقريبًا.
ومن الغريب أن فصل الآلية يختلف حسب نوع المعلومات. بالكاد تغيرت الحقائق الشائعة مثل عواصم الدول بعد التحرير، بينما انخفضت الحقائق النادرة مثل الرؤساء التنفيذيين للشركات بنسبة 78 بالمائة. ويشير هذا إلى أن النماذج تخصص موارد عصبية متميزة بناءً على عدد مرات ظهور المعلومات في التدريب.
تفوقت تقنية K-FAC على أساليب إزالة الحفظ الحالية دون الحاجة إلى أمثلة تدريبية للمحتوى المحفوظ. وفقًا للاقتباسات التاريخية غير المرئية، حققت K-FAC نسبة حفظ بلغت 16.1 بالمائة مقابل 60 بالمائة لأفضل طريقة سابقة، BalancedSubnet.
أظهرت محولات الرؤية أنماطًا مماثلة. عندما تم تدريبهم باستخدام صور ذات عناوين خاطئة عن عمد، طورت النماذج مسارات مميزة لحفظ التسميات الخاطئة مقابل تعلم الأنماط الصحيحة. أدت إزالة مسارات الحفظ إلى استعادة الدقة بنسبة 66.5 بالمائة على الصور التي تم تصنيفها بشكل خاطئ سابقًا.
حدود إزالة الذاكرة
ومع ذلك، اعترف الباحثون بأن أسلوبهم ليس مثاليًا. قد تعود الذكريات التي تمت إزالتها مرة واحدة إذا تلقى النموذج مزيدًا من التدريب، حيث أظهرت أبحاث أخرى أن طرق إلغاء التعلم الحالية تعمل فقط على قمع المعلومات بدلاً من محوها بالكامل من أوزان الشبكة العصبية. وهذا يعني أنه يمكن إعادة تنشيط المحتوى “المنسي” من خلال خطوات تدريب قليلة تستهدف تلك المناطق المكبوتة.
كما لم يتمكن الباحثون أيضًا من تفسير سبب ضعف بعض القدرات، مثل الرياضيات، بسهولة عند إزالة الحفظ. من غير الواضح ما إذا كان النموذج قد حفظ بالفعل جميع العمليات الحسابية الخاصة به أو ما إذا كانت الرياضيات تستخدم دوائر عصبية مماثلة للحفظ. بالإضافة إلى ذلك، قد تبدو بعض القدرات المتطورة بمثابة حفظ لطريقة اكتشافها، حتى عندما تكون في الواقع أنماط تفكير معقدة. وأخيرا، فإن الأدوات الرياضية التي يستخدمونها لقياس “المشهد العام” للنموذج يمكن أن تصبح غير موثوقة في أقصى الحدود، على الرغم من أن هذا لا يؤثر على عملية التحرير الفعلية.
تم تحديث هذا المقال بتاريخ 11 نوفمبر 2025 الساعة 9:16 صباحاً لتوضيح شرح فرز الأوزان حسب الإنحناء.
