تتنافس القوى في مجال الذكاء الاصطناعي، والمعركة حول LLM مشتعلة
في الشهر الماضي، اندلعت حرب "حيوانات" في عالم الذكاء الاصطناعي.
طرف هذه المعركة هو نموذج Llama الذي أطلقته Meta. بسبب طبيعته مفتوحة المصدر، يحظى Llama بشعبية كبيرة بين المطورين. بعد دراسة ورقة Llama الأكاديمية والشيفرة، طورت شركة NEC اليابانية بسرعة نسخة ChatGPT باللغة اليابانية، مما حل مشكلة النقص في مجال الذكاء الاصطناعي في اليابان.
الطرف الآخر هو نموذج كبير يسمى Falcon. في مايو من هذا العام، ظهر Falcon-40B ليعتلي قائمة LLM مفتوحة المصدر. تم إعداد هذه القائمة من قبل مجتمع Hugging Face، لتوفير معيار لتقييم قدرة LLM. القائمة بشكل أساسي تتكون من Llama و Falcon يتبادلان المراكز الأولى.
بعد إصدار Llama 2 ، استعاد الميزة مؤقتًا. ولكن في أوائل سبتمبر ، أطلق Falcon الإصدار 180B ، محققًا ترتيبًا أعلى مرة أخرى.
من المثير للاهتمام أن مطوري Falcon ليسوا شركة تكنولوجيا، بل هم معهد الابتكار التكنولوجي الواقع في أبوظبي. وقال المسؤولون الإماراتيون إنهم يشاركون في هذا المجال من أجل تغيير اللاعبين الرئيسيين.
في اليوم التالي لإصدار النسخة 180B، تم اختيار وزير الذكاء الاصطناعي في الإمارات ضمن قائمة "أكثر 100 شخصية تأثيرًا في مجال الذكاء الاصطناعي" التي أصدرتها مجلة تايم. ومن بين الذين تم اختيارهم أيضًا "أب الذكاء الاصطناعي" جيفري هينتون، وألتمن من OpenAI.
اليوم، دخلت مجال الذكاء الاصطناعي مرحلة تنافسية بين العديد من الفاعلين. الدول والشركات التي لديها قدر من القوة المالية تحاول بناء نماذج لغوية كبيرة خاصة بها. في منطقة الخليج فقط، هناك أكثر من لاعب واحد. في أغسطس، اشترت السعودية أكثر من 3000 شريحة H100 للجامعات المحلية لتدريب LLM.
قال مستثمر: "في ذلك الوقت، كنت أحتقر الابتكار في نماذج الأعمال على الإنترنت، واعتقدت أنه لا توجد حواجز. لم أتوقع أن ريادة الأعمال في نماذج التكنولوجيا المتقدمة لا تزال هي حرب النماذج..."
كنت أعتقد أنها تقنية صعبة للغاية، كيف أصبحت مسابقة يمكن للجميع المشاركة فيها؟
Transformerغيرت قواعد اللعبة
سواء كانت الشركات الناشئة الأمريكية، أو عمالقة التكنولوجيا الصينية، أو عمالقة النفط في الشرق الأوسط، فإن القدرة على الانخراط في تطوير النماذج الكبيرة تعود الفضل فيه إلى تلك الورقة الشهيرة: "Attention Is All You Need".
في عام 2017، نشر 8 علماء من جوجل خوارزمية Transformer في هذه الورقة. تُعتبر هذه الورقة حالياً ثالث أكثر ورقة تم الاستشهاد بها في تاريخ الذكاء الاصطناعي، وقد أدى ظهور Transformer إلى هذه الموجة الحالية من الحماس للذكاء الاصطناعي.
تستند النماذج الكبيرة الحالية، بما في ذلك سلسلة GPT التي أحدثت ضجة، إلى أساس Transformer.
قبل ذلك، كانت "تعليم الآلة القراءة" تُعتبر مشكلة أكاديمية معترف بها. على عكس التعرف على الصور، فإن القراءة البشرية لا تركز فقط على الكلمات والجمل الحالية، بل تأخذ في الاعتبار أيضًا السياق لفهم المعنى.
لكن المدخلات في الشبكات العصبية المبكرة كانت مستقلة، ولم تكن قادرة على فهم المعنى الكلي للمقالات الطويلة، لذلك كانت هناك غالبًا مشكلات في الترجمة.
في عام 2014، حقق عالم جوجل إيليا اختراقًا لأول مرة. استخدم الشبكات العصبية التكرارية (RNN) لمعالجة اللغة الطبيعية، مما أدى إلى تحسين كبير في أداء ترجمة جوجل.
اقترح RNN "تصميم دائري"، مما يسمح للعصبونات بتلقي المدخلات الحالية وكذلك المدخلات من اللحظة السابقة، وبالتالي اكتساب القدرة على "دمج السياق".
ظهور الشبكات العصبية المتكررة (RNN) أثار حماس الأوساط الأكاديمية، وقد قام مؤلفو ورقة Transformer، شازيل، بدراسة متعمقة أيضًا. لكن المطورين اكتشفوا بسرعة أن RNN تعاني من عيوب خطيرة:
تستخدم الخوارزمية الحساب التسلسلي، على الرغم من أنها تحل مشكلة السياق، إلا أن كفاءة التشغيل ليست عالية، مما يجعل من الصعب التعامل مع عدد كبير من المعلمات.
أزعج التصميم المعقد لـ RNN شازيل. لذلك، منذ عام 2015، بدأ شازيل وسبعة من زملائه في تطوير بديل لـ RNN، وكانت النتيجة النهائية هي Transformer.
بالنسبة لـ RNN، فإن Transformer لديه ثورتان رئيسيتان:
أولاً، تم استبدال تصميم الحلقة بترميز الموقع، مما يتيح حسابًا متوازيًا، ويعزز بشكل كبير من كفاءة التدريب، مما يدفع الذكاء الاصطناعي إلى عصر النماذج الكبيرة؛ ثانياً، تم تعزيز القدرة على فهم السياق بشكل أكبر.
حلت Transformer العديد من العيوب دفعة واحدة، وأصبحت تدريجياً الحل القياسي في مجال NLP، مما يعطي شعورًا بأنه "إذا لم يكن هناك Transformer، ستظل NLP في ظلام دامس إلى الأبد". حتى إيليا تخلى عن RNN وانتقل إلى معسكر Transformer.
بعبارة أخرى، تُعتبر الـTransformer حجر الأساس لجميع النماذج الكبيرة اليوم، حيث حولت النماذج الكبيرة من بحث نظري إلى مسألة هندسية بحتة.
في عام 2019، أدهشت GPT-2 التي طورتها OpenAI على أساس Transformer المجتمع الأكاديمي. كرد فعل، أطلقت جوجل بسرعة Meena ذات الأداء الأقوى.
بالمقارنة مع GPT-2، لا تمتلك Meena ابتكارات خوارزمية، بل زادت فقط من عدد معلمات التدريب بمقدار 8.5 مرة، وقوة الحوسبة بمقدار 14 مرة. كان مؤلف Transformer، شازيل، مذهولاً من هذا "التكديس العنيف"، وكتب مذكرة بعنوان "Meena تبتلع العالم".
بعد ظهور المحولات، تباطأت سرعة الابتكار في الخوارزميات الأساسية. أصبحت عناصر الهندسة مثل هندسة البيانات، وحجم القوة الحاسوبية، وهيكل النموذج، عوامل رئيسية في المنافسة في مجال الذكاء الاصطناعي؛ حيث يمكن لأي شركة تمتلك قدرات تقنية معينة أن تطور نماذج كبيرة.
لذلك، اقترح العالم وونغ دا في خطابه في ستانفورد: "الذكاء الاصطناعي هو مجموعة من الأدوات، بما في ذلك التعلم تحت الإشراف، التعلم غير الخاضع للإشراف، التعلم المعزز والذكاء الاصطناعي التوليدي الحالي. كل هذه تقنيات عامة، مشابهة للكهرباء والإنترنت."
لا تزال OpenAI هي علامة الاتجاه لـ LLM، ولكن تعتقد وكالة تحليل أشباه الموصلات Semi Analysis أن ميزة GPT-4 تأتي من الحل الهندسي - إذا كان مفتوح المصدر، يمكن لأي منافس نسخه بسرعة.
يتوقع هذا المحلل أن شركات التكنولوجيا الكبرى الأخرى قد تتمكن قريبًا من تطوير نماذج كبيرة تعادل أداء GPT-4.
الخندق ليس منيعا
اليوم، لم تعد "معركة المئة نموذج" مجرد استعارة، بل أصبحت واقعاً.
وفقًا للتقرير، حتى يوليو من هذا العام، بلغ عدد النماذج الكبيرة في الصين 130، متجاوزًا الولايات المتحدة التي لديها 114 نموذجًا، وأصبحت الأساطير المختلفة تقريبًا غير كافية لاستخدامها في تسمية الشركات التكنولوجية المحلية.
بخلاف الصين والولايات المتحدة، حققت العديد من الدول الأكثر ثراءً "نموذج دولة واحدة": بالإضافة إلى اليابان والإمارات، هناك أيضًا Bhashini التي تقودها الحكومة الهندية، وHyperClova X التي طورتها شركة Naver الكورية.
تذكرنا هذه الحالة بمشاهد الفقاعات التي انتشرت في أوائل الإنترنت، واحتفالات رأس المال.
كما ذُكر سابقًا، يُحوّل Transformer النموذج الكبير إلى مسألة هندسية بحتة، طالما أن هناك مواهب وموارد مالية وحسابية، يمكن تطوير ذلك. لكن الدخول إلى السوق سهل، إلا أن أن تصبح من عمالقة عصر الذكاء الاصطناعي ليس بالأمر السهل.
الحالة التي ذُكرت في البداية "حرب الحيوانات" هي مثال نموذجي: على الرغم من أن Falcon تتقدم مؤقتًا على Llama، إلا أنه من الصعب القول إنها تؤثر بشكل كبير على Meta.
من المعروف أن الشركات التي تفتح نتائجها للعامة، تهدف إلى مشاركة فوائد التكنولوجيا وتأمل في الاستفادة من قوى المجتمع. مع استمرار الجامعات ومراكز الأبحاث والشركات في تحسين Llama، يمكن لـ Meta تطبيق هذه النتائج في منتجاتها.
بالنسبة لنماذج المصدر المفتوح الكبيرة، فإن مجتمع المطورين النشط هو القوة التنافسية الأساسية.
في عام 2015، عندما تم تشكيل مختبر الذكاء الاصطناعي، حددت ميتا مسار المصدر المفتوح؛ كان زوكربيرغ قد بدأ بالفعل من وسائل التواصل الاجتماعي، ويفهم أهمية "إقامة علاقات جيدة مع الجماهير".
على سبيل المثال، في أكتوبر، نظمت ميتا فعالية "تحفيز المبدعين في الذكاء الاصطناعي": المطورون الذين يستخدمون Llama 2 لحل مشكلات اجتماعية مثل التعليم والبيئة لديهم فرصة للحصول على تمويل بقيمة 500,000 دولار.
اليوم، أصبحت سلسلة Llama من Meta معيارًا لنماذج اللغة الكبيرة مفتوحة المصدر.
حتى أوائل أكتوبر، يوجد 8 من أصل 10 في قائمة Hugging Face المفتوحة للـ LLM مبنية على Llama 2، باستخدام بروتوكولها المفتوح. فقط على Hugging Face، تجاوز عدد الـ LLM التي تستخدم بروتوكول Llama 2 1500.
بالطبع، ليس من السيء تحسين الأداء مثل Falcon، لكن الفجوة بين معظم LLM و GPT-4 لا تزال واضحة في السوق الحالية.
على سبيل المثال، مؤخراً، حقق GPT-4 المرتبة الأولى في اختبار AgentBench بدرجة 4.41. تم إطلاق AgentBench بالتعاون بين جامعة تسينغhua وعدد من الجامعات الأمريكية المرموقة، ويهدف إلى تقييم قدرات الاستدلال واتخاذ القرار لنماذج اللغة الكبيرة (LLM) في بيئات مفتوحة متعددة الأبعاد، وتتضمن محتويات الاختبار مهام في 8 بيئات مختلفة مثل أنظمة التشغيل، وقواعد البيانات، ورسم الخرائط المعرفية، ومعارك البطاقات.
أظهرت نتائج الاختبار أن المركز الثاني Claude حصل على 2.77 نقطة فقط، والفجوة واضحة. أما بالنسبة لتلك النماذج مفتوحة المصدر ذات الضجة الكبيرة، فإن النتائج تتراوح حول 1 نقطة، وهي أقل من ربع نقاط GPT-4.
لتعلم أن GPT-4 تم إصداره في مارس من هذا العام، وهذا لا يزال نتيجة لجهود الزملاء في جميع أنحاء العالم بعد أكثر من نصف عام. السبب وراء هذه الفجوة هو الفريق البحثي عالي المستوى في OpenAI والخبرة المتراكمة على مر السنين، مما يتيح لهم الحفاظ على الريادة باستمرار.
بمعنى آخر، ليست القدرة الأساسية للنموذج الكبير هي المعلمات، بل هي بناء النظام البيئي ( مفتوح المصدر ) أو القدرة البحتة على الاستدلال ( مغلقة المصدر ).
مع تزايد نشاط مجتمع المصادر المفتوحة، قد تتقارب أداءات LLM المختلفة، لأن الجميع يستخدم نماذج هيكلية ومجموعات بيانات مشابهة.
المشكلة الأخرى الأكثر وضوحًا هي: يبدو أنه لا يوجد نموذج كبير آخر قادر على تحقيق الربح باستثناء Midjourney.
ربط القيمة
في أغسطس من هذا العام، أثار مقال بعنوان "قد تعلن OpenAI إفلاسها بحلول نهاية عام 2024" اهتمامًا. يمكن تلخيص جوهر المقال في جملة واحدة: OpenAI تحرق الأموال بسرعة كبيرة.
تشير المقالة إلى أنه منذ تطوير ChatGPT، توسعت خسائر OpenAI بسرعة، حيث تكبدت خسائر تبلغ حوالي 5.4 مليار دولار في عام 2022، ولم يكن أمامها سوى الاعتماد على استثمارات مايكروسوفت.
على الرغم من أن عنوان المقال يثير الدهشة، إلا أنه يعكس الحالة الراهنة للعديد من مقدمي النماذج الكبيرة: هناك عدم توازن خطير بين التكاليف والإيرادات.
التكاليف المرتفعة أدت إلى أن الشركات الوحيدة التي تحقق أرباحاً كبيرة من الذكاء الاصطناعي حالياً هي إنفيديا، وربما أيضاً بروكوم.
وفقًا لشركة الاستشارات Omdia، تقدر أن شركة إنفيديا قد باعت أكثر من 300,000 وحدة من H100 في الربع الثاني من هذا العام. هذه شريحة AI عالية الكفاءة، وتتنافس شركات التكنولوجيا العالمية والمؤسسات البحثية على شرائها. إذا تم تكديس هذه الوحدات البالغ عددها 300,000 فوق بعضها البعض، فإن وزنها يعادل 4.5 طائرات بوينغ 747.
ارتفعت إيرادات إنفيديا بشكل كبير، حيث زادت الإيرادات بنسبة 854% على أساس سنوي، مما صدم وول ستريت. ومن الجدير بالذكر أن سعر H100 قد ارتفع في السوق الثانوية إلى 40-50 ألف دولار، بينما تكلفته المادية لا تتجاوز 3000 دولار.
أصبحت تكلفة قوة الحوسبة المرتفعة إلى حد ما عائقًا أمام تطوير الصناعة. وقد قدرت شركة Sequoia Capital أن شركات التكنولوجيا العالمية ستنفق حوالي 200 مليار دولار سنويًا على بناء بنية تحتية لنماذج كبيرة؛ بالمقارنة، يمكن أن تحقق النماذج الكبيرة إيرادات تصل إلى 75 مليار دولار سنويًا، مما يترك فجوة لا تقل عن 125 مليار دولار.
علاوة على ذلك، باستثناء عدد قليل من الاستثناءات مثل Midjourney، لم تتمكن معظم شركات البر software بعد استثمار مبالغ ضخمة من العثور على نموذج ربح. خاصة أن قادة الصناعة مثل مايكروسوفت وأدوبي واجهوا صعوبات.
أداة توليد الأكواد بالذكاء الاصطناعي GitHub Copilot التي طورتها مايكروسوفت بالتعاون مع OpenAI، على الرغم من أنها تتقاضى 10 دولارات شهريًا، إلا أن مايكروسوفت تخسر 20 دولارًا لكل مستخدم بسبب تكاليف المرافق، مما يجعل المستخدمين المكثفين يتسببون في خسارة تصل إلى 80 دولارًا شهريًا. ومن هنا، يمكن الافتراض أن Microsoft 365 Copilot الذي يبلغ سعره 30 دولارًا قد يخسر أكثر.
نفس الشيء، أصدرت شركة أدوبي أداة Firefly AI بسرعة نظام نقاط لمنع المستخدمين من الاستخدام المفرط مما يؤدي إلى خسائر للشركة. بمجرد أن يتجاوز المستخدم النقاط المخصصة له شهريًا، ستقوم أدوبي بتقليل سرعة الخدمة.
يجب أن نعلم أن مايكروسوفت وأدوبي هما عملاقان في البرمجيات مع مشاهد عمل واضحة ولديهما عدد كبير من المستخدمين المدفوعين. بينما لا يزال الاستخدام الأكبر لنماذج المعلمات المتراكمة هو الدردشة.
لا يمكن إنكار أنه لو لم تظهر OpenAI و ChatGPT، لربما لم تحدث هذه الثورة في الذكاء الاصطناعي على الإطلاق؛ ولكن في الوقت الحالي، فإن القيمة التي تم إنشاؤها من تدريب النماذج الكبيرة لا تزال موضع نقاش.
علاوة على ذلك، مع تزايد حدة المنافسة المتماثلة، وزيادة عدد النماذج مفتوحة المصدر، قد يواجه مزودو النماذج الكبيرة تحديات أكبر.
نجاح آيفون 4 ليس بسبب معالج A4 بتقنية 45 نانومتر، بل لأنه يمكنه تشغيل لعبة النباتات ضد الزومبي ولعبة الطيور الغاضبة.
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تسجيلات الإعجاب 12
أعجبني
12
7
مشاركة
تعليق
0/400
DAOplomacy
· منذ 2 س
بصراحة، إنها مجرد سباق آخر غير مستدام نحو القاع... لقد شاهدت هذا الفيلم من قبل
حرب النماذج المئة: ظهور الأبطال في مجال الذكاء الاصطناعي وتحديات الربحية التي تواجه نماذج اللغة الكبيرة
تتنافس القوى في مجال الذكاء الاصطناعي، والمعركة حول LLM مشتعلة
في الشهر الماضي، اندلعت حرب "حيوانات" في عالم الذكاء الاصطناعي.
طرف هذه المعركة هو نموذج Llama الذي أطلقته Meta. بسبب طبيعته مفتوحة المصدر، يحظى Llama بشعبية كبيرة بين المطورين. بعد دراسة ورقة Llama الأكاديمية والشيفرة، طورت شركة NEC اليابانية بسرعة نسخة ChatGPT باللغة اليابانية، مما حل مشكلة النقص في مجال الذكاء الاصطناعي في اليابان.
الطرف الآخر هو نموذج كبير يسمى Falcon. في مايو من هذا العام، ظهر Falcon-40B ليعتلي قائمة LLM مفتوحة المصدر. تم إعداد هذه القائمة من قبل مجتمع Hugging Face، لتوفير معيار لتقييم قدرة LLM. القائمة بشكل أساسي تتكون من Llama و Falcon يتبادلان المراكز الأولى.
بعد إصدار Llama 2 ، استعاد الميزة مؤقتًا. ولكن في أوائل سبتمبر ، أطلق Falcon الإصدار 180B ، محققًا ترتيبًا أعلى مرة أخرى.
من المثير للاهتمام أن مطوري Falcon ليسوا شركة تكنولوجيا، بل هم معهد الابتكار التكنولوجي الواقع في أبوظبي. وقال المسؤولون الإماراتيون إنهم يشاركون في هذا المجال من أجل تغيير اللاعبين الرئيسيين.
في اليوم التالي لإصدار النسخة 180B، تم اختيار وزير الذكاء الاصطناعي في الإمارات ضمن قائمة "أكثر 100 شخصية تأثيرًا في مجال الذكاء الاصطناعي" التي أصدرتها مجلة تايم. ومن بين الذين تم اختيارهم أيضًا "أب الذكاء الاصطناعي" جيفري هينتون، وألتمن من OpenAI.
اليوم، دخلت مجال الذكاء الاصطناعي مرحلة تنافسية بين العديد من الفاعلين. الدول والشركات التي لديها قدر من القوة المالية تحاول بناء نماذج لغوية كبيرة خاصة بها. في منطقة الخليج فقط، هناك أكثر من لاعب واحد. في أغسطس، اشترت السعودية أكثر من 3000 شريحة H100 للجامعات المحلية لتدريب LLM.
قال مستثمر: "في ذلك الوقت، كنت أحتقر الابتكار في نماذج الأعمال على الإنترنت، واعتقدت أنه لا توجد حواجز. لم أتوقع أن ريادة الأعمال في نماذج التكنولوجيا المتقدمة لا تزال هي حرب النماذج..."
كنت أعتقد أنها تقنية صعبة للغاية، كيف أصبحت مسابقة يمكن للجميع المشاركة فيها؟
Transformerغيرت قواعد اللعبة
سواء كانت الشركات الناشئة الأمريكية، أو عمالقة التكنولوجيا الصينية، أو عمالقة النفط في الشرق الأوسط، فإن القدرة على الانخراط في تطوير النماذج الكبيرة تعود الفضل فيه إلى تلك الورقة الشهيرة: "Attention Is All You Need".
في عام 2017، نشر 8 علماء من جوجل خوارزمية Transformer في هذه الورقة. تُعتبر هذه الورقة حالياً ثالث أكثر ورقة تم الاستشهاد بها في تاريخ الذكاء الاصطناعي، وقد أدى ظهور Transformer إلى هذه الموجة الحالية من الحماس للذكاء الاصطناعي.
تستند النماذج الكبيرة الحالية، بما في ذلك سلسلة GPT التي أحدثت ضجة، إلى أساس Transformer.
قبل ذلك، كانت "تعليم الآلة القراءة" تُعتبر مشكلة أكاديمية معترف بها. على عكس التعرف على الصور، فإن القراءة البشرية لا تركز فقط على الكلمات والجمل الحالية، بل تأخذ في الاعتبار أيضًا السياق لفهم المعنى.
لكن المدخلات في الشبكات العصبية المبكرة كانت مستقلة، ولم تكن قادرة على فهم المعنى الكلي للمقالات الطويلة، لذلك كانت هناك غالبًا مشكلات في الترجمة.
في عام 2014، حقق عالم جوجل إيليا اختراقًا لأول مرة. استخدم الشبكات العصبية التكرارية (RNN) لمعالجة اللغة الطبيعية، مما أدى إلى تحسين كبير في أداء ترجمة جوجل.
اقترح RNN "تصميم دائري"، مما يسمح للعصبونات بتلقي المدخلات الحالية وكذلك المدخلات من اللحظة السابقة، وبالتالي اكتساب القدرة على "دمج السياق".
ظهور الشبكات العصبية المتكررة (RNN) أثار حماس الأوساط الأكاديمية، وقد قام مؤلفو ورقة Transformer، شازيل، بدراسة متعمقة أيضًا. لكن المطورين اكتشفوا بسرعة أن RNN تعاني من عيوب خطيرة:
تستخدم الخوارزمية الحساب التسلسلي، على الرغم من أنها تحل مشكلة السياق، إلا أن كفاءة التشغيل ليست عالية، مما يجعل من الصعب التعامل مع عدد كبير من المعلمات.
أزعج التصميم المعقد لـ RNN شازيل. لذلك، منذ عام 2015، بدأ شازيل وسبعة من زملائه في تطوير بديل لـ RNN، وكانت النتيجة النهائية هي Transformer.
بالنسبة لـ RNN، فإن Transformer لديه ثورتان رئيسيتان:
أولاً، تم استبدال تصميم الحلقة بترميز الموقع، مما يتيح حسابًا متوازيًا، ويعزز بشكل كبير من كفاءة التدريب، مما يدفع الذكاء الاصطناعي إلى عصر النماذج الكبيرة؛ ثانياً، تم تعزيز القدرة على فهم السياق بشكل أكبر.
حلت Transformer العديد من العيوب دفعة واحدة، وأصبحت تدريجياً الحل القياسي في مجال NLP، مما يعطي شعورًا بأنه "إذا لم يكن هناك Transformer، ستظل NLP في ظلام دامس إلى الأبد". حتى إيليا تخلى عن RNN وانتقل إلى معسكر Transformer.
بعبارة أخرى، تُعتبر الـTransformer حجر الأساس لجميع النماذج الكبيرة اليوم، حيث حولت النماذج الكبيرة من بحث نظري إلى مسألة هندسية بحتة.
في عام 2019، أدهشت GPT-2 التي طورتها OpenAI على أساس Transformer المجتمع الأكاديمي. كرد فعل، أطلقت جوجل بسرعة Meena ذات الأداء الأقوى.
بالمقارنة مع GPT-2، لا تمتلك Meena ابتكارات خوارزمية، بل زادت فقط من عدد معلمات التدريب بمقدار 8.5 مرة، وقوة الحوسبة بمقدار 14 مرة. كان مؤلف Transformer، شازيل، مذهولاً من هذا "التكديس العنيف"، وكتب مذكرة بعنوان "Meena تبتلع العالم".
بعد ظهور المحولات، تباطأت سرعة الابتكار في الخوارزميات الأساسية. أصبحت عناصر الهندسة مثل هندسة البيانات، وحجم القوة الحاسوبية، وهيكل النموذج، عوامل رئيسية في المنافسة في مجال الذكاء الاصطناعي؛ حيث يمكن لأي شركة تمتلك قدرات تقنية معينة أن تطور نماذج كبيرة.
لذلك، اقترح العالم وونغ دا في خطابه في ستانفورد: "الذكاء الاصطناعي هو مجموعة من الأدوات، بما في ذلك التعلم تحت الإشراف، التعلم غير الخاضع للإشراف، التعلم المعزز والذكاء الاصطناعي التوليدي الحالي. كل هذه تقنيات عامة، مشابهة للكهرباء والإنترنت."
لا تزال OpenAI هي علامة الاتجاه لـ LLM، ولكن تعتقد وكالة تحليل أشباه الموصلات Semi Analysis أن ميزة GPT-4 تأتي من الحل الهندسي - إذا كان مفتوح المصدر، يمكن لأي منافس نسخه بسرعة.
يتوقع هذا المحلل أن شركات التكنولوجيا الكبرى الأخرى قد تتمكن قريبًا من تطوير نماذج كبيرة تعادل أداء GPT-4.
الخندق ليس منيعا
اليوم، لم تعد "معركة المئة نموذج" مجرد استعارة، بل أصبحت واقعاً.
وفقًا للتقرير، حتى يوليو من هذا العام، بلغ عدد النماذج الكبيرة في الصين 130، متجاوزًا الولايات المتحدة التي لديها 114 نموذجًا، وأصبحت الأساطير المختلفة تقريبًا غير كافية لاستخدامها في تسمية الشركات التكنولوجية المحلية.
بخلاف الصين والولايات المتحدة، حققت العديد من الدول الأكثر ثراءً "نموذج دولة واحدة": بالإضافة إلى اليابان والإمارات، هناك أيضًا Bhashini التي تقودها الحكومة الهندية، وHyperClova X التي طورتها شركة Naver الكورية.
تذكرنا هذه الحالة بمشاهد الفقاعات التي انتشرت في أوائل الإنترنت، واحتفالات رأس المال.
كما ذُكر سابقًا، يُحوّل Transformer النموذج الكبير إلى مسألة هندسية بحتة، طالما أن هناك مواهب وموارد مالية وحسابية، يمكن تطوير ذلك. لكن الدخول إلى السوق سهل، إلا أن أن تصبح من عمالقة عصر الذكاء الاصطناعي ليس بالأمر السهل.
الحالة التي ذُكرت في البداية "حرب الحيوانات" هي مثال نموذجي: على الرغم من أن Falcon تتقدم مؤقتًا على Llama، إلا أنه من الصعب القول إنها تؤثر بشكل كبير على Meta.
من المعروف أن الشركات التي تفتح نتائجها للعامة، تهدف إلى مشاركة فوائد التكنولوجيا وتأمل في الاستفادة من قوى المجتمع. مع استمرار الجامعات ومراكز الأبحاث والشركات في تحسين Llama، يمكن لـ Meta تطبيق هذه النتائج في منتجاتها.
بالنسبة لنماذج المصدر المفتوح الكبيرة، فإن مجتمع المطورين النشط هو القوة التنافسية الأساسية.
في عام 2015، عندما تم تشكيل مختبر الذكاء الاصطناعي، حددت ميتا مسار المصدر المفتوح؛ كان زوكربيرغ قد بدأ بالفعل من وسائل التواصل الاجتماعي، ويفهم أهمية "إقامة علاقات جيدة مع الجماهير".
على سبيل المثال، في أكتوبر، نظمت ميتا فعالية "تحفيز المبدعين في الذكاء الاصطناعي": المطورون الذين يستخدمون Llama 2 لحل مشكلات اجتماعية مثل التعليم والبيئة لديهم فرصة للحصول على تمويل بقيمة 500,000 دولار.
اليوم، أصبحت سلسلة Llama من Meta معيارًا لنماذج اللغة الكبيرة مفتوحة المصدر.
حتى أوائل أكتوبر، يوجد 8 من أصل 10 في قائمة Hugging Face المفتوحة للـ LLM مبنية على Llama 2، باستخدام بروتوكولها المفتوح. فقط على Hugging Face، تجاوز عدد الـ LLM التي تستخدم بروتوكول Llama 2 1500.
بالطبع، ليس من السيء تحسين الأداء مثل Falcon، لكن الفجوة بين معظم LLM و GPT-4 لا تزال واضحة في السوق الحالية.
على سبيل المثال، مؤخراً، حقق GPT-4 المرتبة الأولى في اختبار AgentBench بدرجة 4.41. تم إطلاق AgentBench بالتعاون بين جامعة تسينغhua وعدد من الجامعات الأمريكية المرموقة، ويهدف إلى تقييم قدرات الاستدلال واتخاذ القرار لنماذج اللغة الكبيرة (LLM) في بيئات مفتوحة متعددة الأبعاد، وتتضمن محتويات الاختبار مهام في 8 بيئات مختلفة مثل أنظمة التشغيل، وقواعد البيانات، ورسم الخرائط المعرفية، ومعارك البطاقات.
أظهرت نتائج الاختبار أن المركز الثاني Claude حصل على 2.77 نقطة فقط، والفجوة واضحة. أما بالنسبة لتلك النماذج مفتوحة المصدر ذات الضجة الكبيرة، فإن النتائج تتراوح حول 1 نقطة، وهي أقل من ربع نقاط GPT-4.
لتعلم أن GPT-4 تم إصداره في مارس من هذا العام، وهذا لا يزال نتيجة لجهود الزملاء في جميع أنحاء العالم بعد أكثر من نصف عام. السبب وراء هذه الفجوة هو الفريق البحثي عالي المستوى في OpenAI والخبرة المتراكمة على مر السنين، مما يتيح لهم الحفاظ على الريادة باستمرار.
بمعنى آخر، ليست القدرة الأساسية للنموذج الكبير هي المعلمات، بل هي بناء النظام البيئي ( مفتوح المصدر ) أو القدرة البحتة على الاستدلال ( مغلقة المصدر ).
مع تزايد نشاط مجتمع المصادر المفتوحة، قد تتقارب أداءات LLM المختلفة، لأن الجميع يستخدم نماذج هيكلية ومجموعات بيانات مشابهة.
المشكلة الأخرى الأكثر وضوحًا هي: يبدو أنه لا يوجد نموذج كبير آخر قادر على تحقيق الربح باستثناء Midjourney.
ربط القيمة
في أغسطس من هذا العام، أثار مقال بعنوان "قد تعلن OpenAI إفلاسها بحلول نهاية عام 2024" اهتمامًا. يمكن تلخيص جوهر المقال في جملة واحدة: OpenAI تحرق الأموال بسرعة كبيرة.
تشير المقالة إلى أنه منذ تطوير ChatGPT، توسعت خسائر OpenAI بسرعة، حيث تكبدت خسائر تبلغ حوالي 5.4 مليار دولار في عام 2022، ولم يكن أمامها سوى الاعتماد على استثمارات مايكروسوفت.
على الرغم من أن عنوان المقال يثير الدهشة، إلا أنه يعكس الحالة الراهنة للعديد من مقدمي النماذج الكبيرة: هناك عدم توازن خطير بين التكاليف والإيرادات.
التكاليف المرتفعة أدت إلى أن الشركات الوحيدة التي تحقق أرباحاً كبيرة من الذكاء الاصطناعي حالياً هي إنفيديا، وربما أيضاً بروكوم.
وفقًا لشركة الاستشارات Omdia، تقدر أن شركة إنفيديا قد باعت أكثر من 300,000 وحدة من H100 في الربع الثاني من هذا العام. هذه شريحة AI عالية الكفاءة، وتتنافس شركات التكنولوجيا العالمية والمؤسسات البحثية على شرائها. إذا تم تكديس هذه الوحدات البالغ عددها 300,000 فوق بعضها البعض، فإن وزنها يعادل 4.5 طائرات بوينغ 747.
ارتفعت إيرادات إنفيديا بشكل كبير، حيث زادت الإيرادات بنسبة 854% على أساس سنوي، مما صدم وول ستريت. ومن الجدير بالذكر أن سعر H100 قد ارتفع في السوق الثانوية إلى 40-50 ألف دولار، بينما تكلفته المادية لا تتجاوز 3000 دولار.
أصبحت تكلفة قوة الحوسبة المرتفعة إلى حد ما عائقًا أمام تطوير الصناعة. وقد قدرت شركة Sequoia Capital أن شركات التكنولوجيا العالمية ستنفق حوالي 200 مليار دولار سنويًا على بناء بنية تحتية لنماذج كبيرة؛ بالمقارنة، يمكن أن تحقق النماذج الكبيرة إيرادات تصل إلى 75 مليار دولار سنويًا، مما يترك فجوة لا تقل عن 125 مليار دولار.
علاوة على ذلك، باستثناء عدد قليل من الاستثناءات مثل Midjourney، لم تتمكن معظم شركات البر software بعد استثمار مبالغ ضخمة من العثور على نموذج ربح. خاصة أن قادة الصناعة مثل مايكروسوفت وأدوبي واجهوا صعوبات.
أداة توليد الأكواد بالذكاء الاصطناعي GitHub Copilot التي طورتها مايكروسوفت بالتعاون مع OpenAI، على الرغم من أنها تتقاضى 10 دولارات شهريًا، إلا أن مايكروسوفت تخسر 20 دولارًا لكل مستخدم بسبب تكاليف المرافق، مما يجعل المستخدمين المكثفين يتسببون في خسارة تصل إلى 80 دولارًا شهريًا. ومن هنا، يمكن الافتراض أن Microsoft 365 Copilot الذي يبلغ سعره 30 دولارًا قد يخسر أكثر.
نفس الشيء، أصدرت شركة أدوبي أداة Firefly AI بسرعة نظام نقاط لمنع المستخدمين من الاستخدام المفرط مما يؤدي إلى خسائر للشركة. بمجرد أن يتجاوز المستخدم النقاط المخصصة له شهريًا، ستقوم أدوبي بتقليل سرعة الخدمة.
يجب أن نعلم أن مايكروسوفت وأدوبي هما عملاقان في البرمجيات مع مشاهد عمل واضحة ولديهما عدد كبير من المستخدمين المدفوعين. بينما لا يزال الاستخدام الأكبر لنماذج المعلمات المتراكمة هو الدردشة.
لا يمكن إنكار أنه لو لم تظهر OpenAI و ChatGPT، لربما لم تحدث هذه الثورة في الذكاء الاصطناعي على الإطلاق؛ ولكن في الوقت الحالي، فإن القيمة التي تم إنشاؤها من تدريب النماذج الكبيرة لا تزال موضع نقاش.
علاوة على ذلك، مع تزايد حدة المنافسة المتماثلة، وزيادة عدد النماذج مفتوحة المصدر، قد يواجه مزودو النماذج الكبيرة تحديات أكبر.
نجاح آيفون 4 ليس بسبب معالج A4 بتقنية 45 نانومتر، بل لأنه يمكنه تشغيل لعبة النباتات ضد الزومبي ولعبة الطيور الغاضبة.