IT Houseは本日、AIモデルのブラインドヒープ量が実際には必ずしも優れているわけではなく、トレーニングデータの品質に大きく依存すると述べた記事を発表し、Microsoftは最近、13億個のパラメータを備えた言語モデルphi-1をリリースしたと述べた。 、「教科書レベル」の高品質なデータセットトレーニングを使用し、「実際の効果は1,000億パラメータのGPT 3.5よりも優れている」と言われています。このモデルは Transformer アーキテクチャに基づいており、Microsoft チームは Web からの「教科書レベルの」データと GPT-3.5 で処理された「論理的に厳密なコンテンツ」、および 8 つの Nvidia A100 GPU を使用して、わずか 4 時間でトレーニングを完了しました。日。 Microsoft チームは、モデルのパラメーターの数を増やすよりも、モデルのトレーニング データセットの品質を向上させることで、モデルの精度と効率が向上する可能性があると述べたため、高品質のデータを使用して phi-1 モデルをトレーニングしました。 。テストでは、phi-1 のスコアは 50.6% に達し、1,750 億個のパラメータを持つ GPT-3.5 (47%) よりも優れていました。 Microsoft はまた、phi-1 は次は HuggingFace でオープンソース化される予定であると述べており、Microsoft が小規模な LLM を開発するのはこれが初めてではなく、以前は GPT-4 合成データを使用してトレーニングされた 130 億パラメータの Orca を作成していました。パフォーマンスも ChatGPT より優れています。