Benj Edwards / Stability AI / Stable Diffusion XL
يوم الأربعاء ، أصدرت Stability AI عائلة جديدة من نماذج لغة AI مفتوحة المصدر تسمى StableLM. تأمل شركة Stability في تكرار التأثيرات المحفزة لنموذج تركيب الصورة مفتوح المصدر للانتشار المستقر ، والذي تم إطلاقه في عام 2022. مع التحسين ، يمكن استخدام StableLM لبناء بديل مفتوح المصدر لـ ChatGPT.
يتوفر StableLM حاليًا في شكل ألفا على GitHub بأحجام 3 مليارات و 7 مليارات نموذج معلمة ، مع 15 مليار و 65 مليار نموذج معلمة لمتابعة ، وفقًا للاستقرار. تقوم الشركة بإصدار النماذج بموجب ترخيص Creative Commons BY-SA-4.0 ، والذي يتطلب أن تنسب التعديلات إلى المنشئ الأصلي ومشاركة نفس الترخيص.
Stability AI Ltd. هي شركة مقرها لندن وضعت نفسها كمنافس مفتوح المصدر لـ OpenAI ، والتي ، على الرغم من اسمها “المفتوح” ، نادرًا ما تصدر نماذج مفتوحة المصدر وتحافظ على أوزان شبكتها العصبية – كتلة الأرقام التي تحدد الوظيفة الأساسية لنموذج الذكاء الاصطناعي – الخاصية.
كتب Stability في منشور تمهيدي بالمدونة: “ستشكل النماذج اللغوية العمود الفقري لاقتصادنا الرقمي ، ونريد أن يكون لكل شخص رأي في تصميمه”. “تُظهر نماذج مثل StableLM التزامنا بتكنولوجيا الذكاء الاصطناعي التي تتسم بالشفافية وسهولة الوصول إليها وداعمة”.
مثل GPT-4 – نموذج اللغة الكبيرة (LLM) الذي يدعم أقوى إصدار من ChatGPT – يقوم StableLM بإنشاء نص من خلال التنبؤ بالرمز المميز التالي (جزء كلمة) في تسلسل. يبدأ هذا التسلسل بالمعلومات التي يقدمها الإنسان في شكل “موجه”. نتيجة لذلك ، يمكن لـ StableLM تكوين نصوص مثل الإنسان وكتابة برامج.
مثال على لقطة شاشة لمحادثة مع نسخة مضبوطة من نموذج لغة 7B StableLM ، المقدم من Stability AI.
الاستقرار AI
مثال على لقطة شاشة لمحادثة مع نسخة مضبوطة من نموذج لغة 7B StableLM ، المقدم من Stability AI.
الاستقرار AI
مثال على لقطة شاشة لمحادثة مع نسخة مضبوطة من نموذج لغة 7B StableLM ، المقدم من Stability AI.
الاستقرار AI
مثل LLMs “الصغيرة” الحديثة الأخرى مثل Meta’s LLaMA و Stanford Alpaca و Cerebras-GPT و Dolly 2.0 ، تهدف StableLM إلى تحقيق أداء مشابه لنموذج OpenAI القياسي GPT-3 مع استخدام معلمات أقل بكثير – 7 مليار لـ StableLM مقابل 175 مليار لـ GPT -3.
المعلمات هي المتغيرات التي يستخدمها نموذج اللغة للتعلم من بيانات التدريب. وجود عدد أقل من المعلمات يجعل نموذج اللغة أصغر وأكثر كفاءة ، مما يسهل تشغيله على الأجهزة المحلية مثل الهواتف الذكية وأجهزة الكمبيوتر المحمولة. ومع ذلك ، فإن تحقيق أداء عالٍ بمعلمات أقل يتطلب هندسة دقيقة ، وهو تحد كبير في مجال الذكاء الاصطناعي.
يقول Stability: “يمكن لنماذج StableLM الخاصة بنا أن تولد نصًا ورمزًا وستعمل على تشغيل مجموعة من التطبيقات النهائية”. “إنهم يوضحون كيف يمكن للنماذج الصغيرة والفعالة أن تقدم أداءً عاليًا مع التدريب المناسب.”
وفقًا لـ Stability AI ، تم تدريب StableLM على “مجموعة بيانات تجريبية جديدة” بناءً على مجموعة بيانات مفتوحة المصدر تسمى The Pile ، ولكنها أكبر بثلاث مرات. يدعي الاستقرار أن “ثراء” مجموعة البيانات هذه ، التي وعدت بإصدار تفاصيلها لاحقًا ، تفسر “الأداء العالي بشكل مدهش” للنموذج بأحجام معلمات أصغر في مهام المحادثة والتشفير.
في تجاربنا غير الرسمية مع نسخة مضبوطة من نموذج StableLM’s 7B المصمم للحوار استنادًا إلى طريقة Alpaca ، وجدنا أنه يبدو أنه يعمل بشكل أفضل (من حيث المخرجات التي تتوقعها في ضوء الموجه) من نموذج Meta الخام 7B معلمة LLaMA ، ولكن ليس على مستوى GPT-3. قد تكون الإصدارات ذات المعلمات الأكبر من StableLM أكثر مرونة وقدرة.
في أغسطس من العام الماضي ، قامت شركة Stability بتمويل وإعلان إطلاق المصدر المفتوح لـ Stable Diffusion ، الذي طوره باحثون في مجموعة CompVis في جامعة Ludwig Maximilian في ميونيخ.
كنموذج انتشار كامن مفتوح المصدر يمكن أن يولد صورًا من المطالبات ، بدأ Stable Diffusion بداية حقبة من التطور السريع في تقنية تخليق الصور. كما أنها أحدثت رد فعل قويًا بين الفنانين وكيانات الشركات ، والتي رفع بعضها دعوى قضائية ضد Stability AI. يمكن أن يؤدي انتقال الاستقرار إلى نماذج لغوية إلى نتائج مماثلة.
يمكن للمستخدمين اختبار النموذج الأساسي StableLM ذو 7 مليارات متغير معانقة الوجه والنموذج الدقيق على Replicate. بالإضافة إلى ذلك ، تستضيف Hugging Face إصدارًا مضبوطًا في الحوار من StableLM بتنسيق محادثة مشابه مثل ChatGPT.
تقول شركة Stability أنها ستصدر تقريرًا تقنيًا كاملاً حول StableLM “في المستقبل القريب”.
