Databricks
يوم الأربعاء ، أصدرت Databricks Dolly 2.0 ، الذي يُقال إنه أول نموذج لغة كبير مفتوح المصدر يتبع التعليمات (LLM) للاستخدام التجاري تم ضبطه بدقة على مجموعة بيانات تم إنشاؤها بواسطة الإنسان. يمكن أن تكون بمثابة نقطة انطلاق مقنعة لمنافسي ChatGPT من البيرة المنزلية.
Databricks هي شركة برمجيات مؤسسة أمريكية تأسست عام 2013 من قبل مبتكري Apache Spark. أنها توفر منصة على شبكة الإنترنت للعمل مع Spark للبيانات الضخمة والتعلم الآلي. من خلال إطلاق Dolly ، تأمل Databricks في السماح للمؤسسات بإنشاء وتخصيص LLMs “دون الدفع مقابل الوصول إلى واجهة برمجة التطبيقات أو مشاركة البيانات مع أطراف ثالثة” ، وفقًا لمدونة إطلاق Dolly.
Dolly 2.0 ، نموذجها الجديد الذي تبلغ قيمته 12 مليار معلمة ، يعتمد على عائلة نموذج Pythia من EleutherAI ويتم ضبطه بشكل حصري على بيانات التدريب (تسمى “databricks-dolly-15k”) التي تم الحصول عليها من قبل موظفي Databricks. تمنحه هذه المعايرة قدرات أكثر انسجامًا مع ChatGPT من OpenAI ، وهو أفضل في الإجابة على الأسئلة والمشاركة في الحوار كروبوت محادثة أكثر من LLM الخام الذي لم يتم ضبطه بدقة.
واجهت Dolly 1.0 ، التي تم إصدارها في مارس ، قيودًا فيما يتعلق بالاستخدام التجاري بسبب بيانات التدريب ، والتي تحتوي على مخرجات من ChatGPT (بفضل Alpaca) وكانت خاضعة لشروط خدمة OpenAI. لمعالجة هذه المشكلة ، سعى الفريق في Databricks إلى إنشاء مجموعة بيانات جديدة تسمح بالاستخدام التجاري.
للقيام بذلك ، استعان Databricks بمصادر خارجية لـ 13000 عرض لسلوك متابعة التعليمات من أكثر من 5000 من موظفيها بين مارس وأبريل 2023. لتحفيز المشاركة ، أقاموا مسابقة وحددوا سبع مهام محددة لتوليد البيانات ، بما في ذلك أسئلة وأجوبة مفتوحة ، أسئلة وأجوبة مغلقة ، واستخراج وتلخيص المعلومات من ويكيبيديا ، والعصف الذهني ، والتصنيف ، والكتابة الإبداعية.
تم إصدار الأرقام الناتجة ، جنبًا إلى جنب مع أوزان نموذج Dolly ورمز التدريب ، مفتوح المصدر بالكامل بموجب ترخيص المشاع الإبداعي ، مما يتيح لأي شخص استخدام مجموعة البيانات أو تعديلها أو توسيعها لأي غرض ، بما في ذلك التطبيقات التجارية.
في المقابل ، يعد ChatGPT الخاص بـ OpenAI نموذجًا خاصًا يتطلب من المستخدمين الدفع مقابل الوصول إلى واجهة برمجة التطبيقات والالتزام بشروط خدمة محددة ، مما قد يحد من خيارات المرونة والتخصيص للشركات والمؤسسات. Meta LLaMA ، نموذج مفتوح المصدر جزئيًا (بأوزان محدودة) أنتج مؤخرًا موجة من المشتقات بعد تسرب أوزانه على BitTorrent ، لا يسمح بالاستخدام التجاري.
في ماستودون ، وصف باحث الذكاء الاصطناعي سايمون ويليسون Dolly 2.0 بأنه “صفقة كبيرة حقًا”. غالبًا ما يختبر Willison نماذج لغة مفتوحة المصدر ، بما في ذلك Dolly. كتب Willison في Mastodon toot: “أحد أكثر الأشياء إثارة حول Dolly 2.0 هو مجموعة تعليمات الضبط الدقيقة ، والتي تم إنشاؤها يدويًا بواسطة 5000 موظف Databricks وتم إصدارها بموجب ترخيص CC”.
إذا كان رد الفعل المتحمس على نموذج Meta المفتوح جزئيًا فقط LLaMA هو أي مؤشر ، فمن المحتمل أن يطلق Dolly 2.0 موجة جديدة من نماذج اللغة مفتوحة المصدر التي لا تعيقها قيود الملكية أو القيود المفروضة على الاستخدام التجاري. بينما لا تزال الكلمة حول دوللي الفعلية القدرة على الأداءقد تسمح التحسينات الإضافية بتشغيل LLM قوية بشكل معقول على الأجهزة المحلية من فئة المستهلك.
قال ويليسون لآرس: “حتى لو لم تكن Dolly 2 جيدة ، أتوقع أننا سنرى مجموعة من المشاريع الجديدة تستخدم بيانات التدريب هذه قريبًا”. وبعض هؤلاء قد ينتج شيئًا مفيدًا حقًا.
حاليًا ، تتوفر أوزان Dolly في Hugging Face ، ويمكن العثور على مجموعة بيانات databricks-dolly-15k على GitHub.
