MicrosoftはすでにPhi-2でGoogleのGemini Nanoに対応している

マイクロソフトはそれだけではなく、OpenAIそれに関しては彼のポケットに人工知能。同社は独自の開発も行っている言語モデル内部的に。昨年の6月、彼女はPhi-1を発表した、優れたパフォーマンスを発揮した小型の AI モデルチャットGPT特定のタスクでは、より少ない電力で。今度は、同様の哲学を持った Phi-2 がシーンに参入する番です。

さらに進むには
LLMとは何ですか? ChatGPT、Google Bard などのエンジンはどのように動作しますか?

より少ないものでより良い成果をあげる: それが Phi-2 の哲学全体です。これは小規模な言語モデルであり、大規模な言語モデルと混同しないでください。 GPTとの違いやジェミニ（Pro または Ultra）パラメータがはるかに少ないことです。最も強力な LLM のパラメータ数は数百億、さらには数千億であるのに対し、27 億です。

Microsoft は Phi-2 を持っていることを誇りに思っています。」これは、130 億未満のパラメーターのコア言語モデルの中で最先端のパフォーマンスを備えた、並外れた推論能力と言語理解能力を実証します。» テストによると、Phi-2 は最大 25 倍大きい LM と同等かそれ以上の性能を発揮する可能性があります。 LLM の開発で私たちが気づいたのは、LLM が私たちが予期していなかった機能を解放できるということです。

この小さな人工知能はどのように訓練されたのか

の目的マイクロソフト今日では、より小型でより特化したモデルでそれらのロックを解除しようとしています。そうすれば、翻訳、プログラミング支援、テキストの要約など、特定のタスク専用のモデルを作成できるようになります。これを行うには、データの選択を制限して、上記モデルのトレーニングを適応させる必要があります。

たとえば、Phi-2 は「」でトレーニングされました。モデルに常識推論と一般知識を教えるために特別に作成された合成データ」。他のモデルがデータを増やして多様化するときに、より正確で品質の高いデータを取得するという考えです。 Phi-2 は当然ながら、13 億のパラメータを持つ以前のバージョンである Phi-1.5 をベースに構築されています。の上彼のブログ, Microsoftによると、Phi-2トレーニングは14日間続き、96日間必要だったという。GPU Nvidia A100。このタイプのグラフィックス カードあたり 20,000 ドルを期待してください。この製品は AI モデルのトレーニングに特化しています。

より慎重な方法でデータを上流で処理することにより、毒性の低いモデルも可能になります。いずれにせよ、これは Microsoft の結論であり、人的強化によってトレーニングされたにもかかわらず、他のオープンソース モデルと比較して Phi-2 の動作が優れていると述べています。

おそらく使用しない AI モデル

最終的には、特定のタスクでは Phi-2 モデルよりも Phi-2 の方が優れたパフォーマンスを発揮します。ミストラルAIあるいはそれLLaMA-270 億または 130 億のパラメータを使用します。 SLM は、700 億パラメータのバージョンよりもさらに進化しています。メタ注ぐ «複数ステップの推論タスク、つまりコーディングと数学。» LLMの最小バージョンであるGemini Nanoについてグーグル最近発表された Phi-2 は、再び小型化されたにもかかわらず、それを上回るか同等です。

ただし、マイクロソフトは、Phi-2 を一般の人々が利用できるようにすることは考えていません。チャットボットのように副操縦士例えば。社会はそれを次のように見ています。研究者にとって、特に機構の解釈可能性の探索、セキュリティの向上、さまざまなタスクの実験の微調整にとって理想的な遊び場です。» Phi-2 は、AI モデリング サービスである Azure AI Studio で実際に利用できます。