Jannah Theme License is not validated, Go to the theme options page to validate the license, You need a single license for each domain name.
أخبار التقنية

إيقاف تشغيل Intel و Nvidia Square في GPT-3 Time Trials


لأول مرة ، تمت إضافة نموذج لغوي كبير – محرك رئيسي لإشاعة الذكاء الاصطناعي الحديثة والأمل – إلى MLPerf ، وهي مجموعة من معايير تدريب الشبكة العصبية التي كانت تسمى سابقًا أولمبياد التعلم الآلي. كانت أجهزة الكمبيوتر التي تم إنشاؤها حول وحدة معالجة الرسومات H100 من Nvidia وشرائح Habana Gaudi2 من Intel هي الأولى التي تم اختبارها على مدى السرعة التي يمكن بها أداء قطار معدل من GPT-3 ، وهو نموذج اللغة الكبير وراء ChatGPT.

تم تشغيل كمبيوتر 3،584-GPU بالتعاون بين Nvidia وموفر السحابة CoreWeave في أقل من 11 دقيقة. أصغر مشارك ، نظام 256-Gaudi2 ، فعل ذلك في ما يزيد قليلاً عن 7 ساعات. على أساس كل شريحة ، كانت أنظمة H100 أسرع 3.6 مرة في المهمة مثل Gaudi2. ومع ذلك ، كانت أجهزة الكمبيوتر Gaudi2 تعمل “بيد واحدة مقيدة خلف ظهرها” ، كما يقول جوردان بلاونر ، المدير الأول لمنتجات الذكاء الاصطناعي في إنتل ، لأن قدرة تسمى الدقة المختلطة لم يتم تمكينها بعد على الرقائق.

وفقًا لأحد التقديرات ، فإن وقت التدريب القياسي لـ Nvidia و CoreWeave لمدة 11 دقيقة قد يصل إلى حوالي يومين من التدريب الشامل.

وجد علماء الكمبيوتر أنه بالنسبة لنوع الشبكة العصبية الخاص بـ GPT-3 ، والذي يسمى شبكة المحولات ، يمكن تسريع التدريب بشكل كبير عن طريق القيام بأجزاء من العملية باستخدام عمليات حسابية أقل دقة. يمكن استخدام إصدارات أرقام الفاصلة العائمة (FP8) ذات 8 بت في طبقات معينة من الشبكة ، بينما يلزم استخدام أرقام أكثر دقة 16 بت أو 32 بت في طبقات أخرى. معرفة الطبقات التي هي المفتاح. تم بناء كل من H100 و Gaudi2 بأجهزة مختلطة الدقة ، لكن الأمر استغرق وقتًا لمهندسي كل شركة لاكتشاف الطبقات المناسبة وتمكينها. يُطلق على نظام Nvidia في H100 اسم محرك المحول ، وقد تم تشغيله بالكامل من أجل نتائج GPT-3.

سيحصل مهندسو Habana على قدرات Gaudi2’s FP8 جاهزة للتدريب على GPT-3 في سبتمبر ، كما يقول بلاونر. في تلك المرحلة ، كما يقول ، سيكون Gaudi2 “تنافسيًا” مع H100 ، ويتوقع أن يتفوق Gaudi2 على H100 على الجمع بين السعر والأداء. Gaudi2 ، لما يستحقه ، تم تصنيعه باستخدام نفس تقنية المعالجة – 7 نانومتر – مثل سابقتها H100 ، A100.

جعل GPT-3 يعمل

يقول ديف سالفاتور ، مدير قياس الذكاء الاصطناعي والحوسبة السحابية في Nvidia: “لقد غيرت نماذج اللغات الكبيرة والذكاء الاصطناعي التوليدي بشكل أساسي كيفية استخدام الذكاء الاصطناعي في السوق”. لذا كان من المهم إيجاد طريقة لقياس هذه العملاقة.

لكن تحويل GPT-3 إلى معيار صناعة مفيد لم يكن بالمهمة السهلة. قد يستغرق التدريب الكامل لشبكة المعلمة 1.75 مليار كاملة مع مجموعة بيانات تدريب كاملة أسابيع ويكلف ملايين الدولارات. يقول David Kanter ، المدير التنفيذي للمنظمة الأم MLPerf ، MLCommons: “أردنا الحفاظ على وقت التشغيل معقولًا”. “لكن هذا لا يزال بعيدًا وبعيدًا عن أكثر معاييرنا تطلبًا من الناحية الحسابية.” يمكن تشغيل معظم الشبكات المعيارية في MLPerf على معالج واحد ، لكن GPT-3 تأخذ 64 كحد أدنى ، كما يقول.

بدلاً من التدريب على مجموعة بيانات كاملة ، تدرب المشاركون على جزء تمثيلي. ولم يتدربوا حتى الانتهاء أو التقارب في لغة الصناعة. وبدلاً من ذلك ، فإن الأنظمة التي تم تدريبها إلى النقطة التي تشير إلى مزيد من التدريب ستؤدي إلى التقارب.

كانت الأنظمة التي تم إنشاؤها باستخدام Habana Gaudi2 هي الأنظمة الوحيدة غير المستندة إلى Nvidia التي شاركت في معيار GPT-3 الأولي لـ MLPerf.شركة انتل

تقول ريتيكا بوركار ، كبيرة مهندسي التعلم العميق في Nvidia ورئيسة MLPerf ، إن تحديد هذه النقطة ، والجزء الصحيح من البيانات ، والمعلمات الأخرى بحيث يمثل المعيار المعياري مهمة التدريب الكاملة التي استغرقت “الكثير من التجارب”. مجموعة العمل التدريبية.

على تويتر،
أبهي فينيغالاقدر عالم أبحاث في MosaicML أن سجل Nvidia و CoreWeave البالغ 11 دقيقة سوف يصل إلى حوالي يومين من التدريب الشامل.

سجلات التدريب H100

هذه الجولة من MLPerf لم تكن فقط حول GPT-3 ، بالطبع ؛ تتكون المسابقة من سبعة اختبارات معيارية أخرى: التعرف على الصور ؛ تجزئة التصوير الطبي نسختين من اكتشاف الكائن ؛ التعرف على الكلام؛ معالجة اللغة الطبيعية؛ والتوصية. يتم تقييم كل نظام كمبيوتر في الوقت الذي يستغرقه تدريب الشبكة العصبية على مجموعة بيانات معينة بدقة معينة. يتم تصنيفها في ثلاث فئات: أنظمة الحوسبة السحابية ، والأنظمة المحلية المتاحة ، وأنظمة المعاينة ، والتي من المقرر أن تصبح متاحة في غضون ستة أشهر.

بالنسبة لهذه المعايير الأخرى ، شاركت Nvidia إلى حد كبير في معركة بالوكالة ضد نفسها. كان معظم الوافدين من صانعي الأنظمة مثل Dell و Gigabyte وما شابه ، لكنهم جميعًا يستخدمون Nvidia GPUs. تم تشغيل ثمانين من 88 إدخالًا من قبلهم ، وحوالي نصف هؤلاء استخدموا H100 ، وهي شريحة مصنوعة باستخدام عملية 5 نانومتر من شركة Taiwan Semiconductors Manufacturing Co. قام CoreWeave بتعيين السجلات لكل فئة من الفئات الثماني.

بالإضافة إلى إضافة GPT-3 ، قامت MLPerf بترقية اختبار نظام التوصية بشكل كبير إلى معيار يسمى DLRM DCN-V2. يقول كانتر: “تعتبر التوصية حقًا أمرًا بالغ الأهمية في العصر الحديث ، لكنها غالبًا ما تكون بطلاً غير معروف”. نظرًا للمخاطر التي تحيط بالمعلومات الشخصية التي يمكن تحديدها في مجموعة البيانات ، فإن “التوصية من بعض النواحي هي أصعب شيء من أجل وضع مقياس مرجعي له” ، كما يقول.

ويضيف أن DLRM DCN-V2 الجديد يهدف إلى مطابقة الصناعة التي تستخدمها بشكل أفضل. تتطلب عمليات الذاكرة خمس مرات ، كما أن الشبكة أكثر تعقيدًا من الناحية الحسابية. يبلغ حجم مجموعة البيانات التي تم التدريب عليها حوالي أربعة أضعاف حجم 1 تيرابايت التي استخدمتها سابقتها.

تستطيع أن ترى كل النتائج هنا.

من مقالات موقعك

مقالات ذات صلة حول الويب



مقالات ذات صلة

اترك تعليقاً

لن يتم نشر عنوان بريدك الإلكتروني. الحقول الإلزامية مشار إليها بـ *

زر الذهاب إلى الأعلى

performance male enhancement cbd gummies effectiveness bio science male enhancement gummies an in depth look full body male enhancement cbd gummies health benefits dr oz gummies for ed do they really work truth male enhancement cbd gummies are they effective male enhancement gummies love bites a user guide love bites male enhancement gummies reviews what users say full body male enhancement gummies what to know alpha male enhancement gummies benefits and uses full body cbd gummies for ed user experiences sex drive gummies for woman boost your libido naturally hims sex pills effective solutions for men rhino sex pills powerful solutions for enhanced performance from 400 pounds to a healthier life nikocado avocados weight loss journey this is how khloe kardashian really lost weight the ultimate guide to ozempic vs wegovy for weight loss what you need to know 8 common weight loss mistakes and how to avoid them everything you need to know about the diet kelly clarkson says changed her life stop counting calories how wegovy help busy people lose weight before and after how did chrissy metz lose weight how chrissy metz lost 100 pounds her amazing weight loss story losing 100 pounds chrissy metzs weight loss journey overview 6 fast weight loss myths busted what really works how ben napier lost weight a deep dive into his 90 pound weight loss journey what is the best weight loss gummy try these in 2024 how to lose weight fast 8 expert approved strategies you cant miss how slimming gummies can boost your weight loss journey expert tips and tricks chrissy metzs 100 pound weight loss journey its not what you think 10 simple steps to kickstart your weight loss journey today chrissy metzs weight loss journey revealed how she lost stunning 100 pounds 7 days with apple cider vinegar a weight loss journey diary top 15 exercises for fast weight loss get fit in no time 6 reasons youre not losing belly fat and how to fix it delicious homemade protein shakes for weight loss you cant miss kelly clarkson shares her weight loss story2024 update oprah winfrey says no to weight loss gummies heres what worked for her kevin james weight loss explained the motivation method and mindset nikocado avocado 89 pound weight loss journey secrets uncovered lizzos weight loss journey through 2024 how she did that 10 proven strategies to melt away belly fat in just 4 weeks ozempic wegovy mounjaro reviews do they work for weight loss khloe kardashians weight loss methods approach to rapid weight loss oprah winfrey spills the tea my weight loss journey not gummies top 10 belly fat burning workouts you can do at home finding the best belly fat burning gummies for you a buyers guide the truth behind ozempic unveiling before after weight loss transformations wegovy weight loss results revealed seeing before and after photos what to expect weight loss wow what did kelly clarkson do to lose weight best foods to include in your diet for a flatter stomach do slimming gummies work for weight loss seeing the ingredients benefits reviews gummies vs lifestyle changes a sustainable approach to belly fat loss wegovy success guide 5 ways to maximize weight loss on wegovy oprah winfrey opens up about using ozempic weight loss medication mindy kaling dropped 40 lbs her secret diet finally revealed in 2024 kelly clarkson reveals how she lost a reported 60 lbs the best alternatives to ozempic without the side effects wegovy weight loss before after pictures that shock you kelly clarkson weight loss triumph in 2023 shedding 60 lbs kelly osbourne reveals how she lost 85 lbs not ozempic nikocado avocados shocking 89 pound weight loss journey exposed do keto gummies really work for weight loss seeing the truth exposing shark tank gummies for weight loss do they work can gummy bears help you slim down the truth about lose weight gummies did kelly clarkson lose weight using keto acv gummies details revealed kelly clarkson reveals weight loss was prompted by pre diabetic diagnosis the most talked about shark tank weight loss products do they work top 5 slimming gummies you need to try for fast weight loss blue vibe cbd gummies reviews what you need to know before you buy 2024 update sleep your way to slimmer the truth about nighttime fat burner gummies do nighttime fat burner gummies work what you need to know before buying kelly osbourne talks about her weight loss journey and ozempic dream of shedding pounds like kelly clarkson fast weight loss supplements to consider when to drink apple cider vinegar for stunning weight loss shark tank weight loss gummies exposed do they really work science behind dr ozs weight loss tips fact or fiction saxenda vs wegovy comparison of glp 1s for stunning weight loss 8 myths about belly fat loss debunked by health experts can drinking water really help you lose weight weight loss facts to know wegovy weight loss reviews does it really work for shedding pounds top 3 herbal teas for effective weight loss what works pre workout drinks that maximize weight loss are they safe how apple cider vinegar can help you lose weight 8 science backed tips best weight loss pills for men which ones burn fat fastest insights from experts 7 secrets to fast weight loss you need to know right now wegovy vs liraglutide which is best for weight loss shocking results revealed 10 surprising benefits of apple cider vinegar for weight loss you need to know ingredients exposed whats inside belly fat burning gummies that really work the science behind slimming gummies how they can help lose weight kelly clarksons weight loss secret the plant paradox diet explained keto acv gummies reviews you need to see in 2024 shark tanks miracle weight loss pills do they really work drinking apple cider vinegar for weight loss does it really work semaglutide for weight loss a game changer in obesity management must see truth about dr oz gummies for weight loss before trying them shark tank reviews do acv keto gummies really work dr oz vs keto acv gummies which is the best for weight loss shark tank gummies for weight loss fact or faction a buyers guide to shark tank acv keto gummies official website the shocking truth about dr ozs weight loss gummies 12 foods that promote fast weight loss eat these to slim down fast you wont believe chrissy metzs amazing transformation of losing 100 lbs unmasking the shark tank gummy scam are they real ozempic before and after pictures wegovy other results shark tank cbd gummies exploring the potential and legitimacy shark tank gummies scam or legit 2024 update pure slim keto acv gummies reviews do they really work lainey wilsons weight loss story how she lost 70 pounds chrissy metzs stunning transformation all details of her weight loss journey do weight loss pills really work for men unpacking the science success stories kelly clarkson explains how she dropped weight before and after photos an ultimate guide to shark tank keto gummies where to buy exposing shark tank keto gummies did they really work chrissy metzs weight loss journey the this is us star shared her 100 pound transformation