Сьогодні IT House опублікував статтю, в якій стверджує, що обсяг сліпої купи моделі ШІ насправді не обов’язково кращий. Це більше залежить від якості навчальних даних. Microsoft нещодавно випустила мовну модель phi-1 з 1,3 мільярда параметрів , використовуючи навчання високоякісного набору даних «на рівні підручника», кажуть, що «фактичний ефект кращий, ніж GPT 3.5 зі 100 мільярдами параметрів». Модель базується на архітектурі Transformer, і команда Microsoft використовувала дані «підручника» з Інтернету та «логічно точний вміст», оброблений за допомогою GPT-3.5, а також вісім графічних процесорів Nvidia A100, щоб завершити навчання лише за 4 години. дні . Команда Microsoft заявила, що замість збільшення кількості параметрів моделі покращення якості набору даних для навчання моделі може підвищити точність і ефективність моделі. Тому вони використовували високоякісні дані для навчання моделі phi-1. . У тесті показник phi-1 досяг 50,6%, що краще, ніж GPT-3,5 (47%) зі 175 мільярдами параметрів. Microsoft також заявила, що phi-1 буде відкритим вихідним кодом у HuggingFace наступного разу, і це не перший раз, коли Microsoft розробляє невеликий LLM.До цього вони створили 13 мільярдів параметрів Orca, який був навчений за допомогою синтетичних даних GPT-4. Продуктивність також краща, ніж у ChatGPT.