生成 AI は人気が高まる傾向にあります。しかし現時点では、それらはすべて民間企業によって所有されており、リモートサーバー上で実行されています。コンピューター上で ChatGPT を「実行」できたらどうなるでしょうか?開発者の Simon Willison は、Meta の言語モデルである LLaMA をラップトップで実行することでこれを達成しました。
傾向は間違いなく次の方向に向かっています人工知能自動テキスト生成:チャットGPT、新しいビング、スナップチャットマイAI、あなた検索エンジン等々グーグル吟遊詩人。現時点では、すべてクラウド上のサーバーを使用して動作します。しかし、数年以内に、マシンの最適化と能力の向上により、コンピューターのおかげでマシンに燃料を供給できるようになりました。これは、最も有名な言語モデルである GPT-3 ではなく、次の言語モデルではすでに当てはまります。メタ、LLaMA。コードの漏洩により、開発者は自分のコンピュータで LLaMa を使用することに成功しました。
Metaの言語モデルLLaMAの流出
オープンソース開発者の Simon Willison 氏によると、これがすべてを変えたものです。LLaMA のソース コードをオンラインに公開し、Meta によって公開された言語モデル数週間前。目標は高く、テキスト生成には 650 億のパラメータが考慮されます。さらに、Meta は、そのモデルがほとんどの点で GPT-3 よりも優れていると主張しています。
Meta が競合他社との差別化を図ろうとしたのは、そのモデルのオープンさにありました。もちろん商業目的ではなく、研究目的のみに使用するなど、一定の厳しい条件を受け入れる必要がありますが、研究者向けに公開されています。しかし、Simon Willison が書いているように、公開から数日後、LLaMA のソース コードがすべてのモデル ファイルとともにインターネット上で公開されました。メタにとってはもう手遅れです。彼女の赤ちゃんは野生にいますので、私たちはそれを地元で使用することができます。
したがって、サイモン・ウィリソンは自分でプログラムを実行しましたMacBookそして特定の感情を抑圧しませんでした。」ラップトップが私に向かってテキストを吐き出し始めたとき、私は再び世界が変わろうとしているという実感を抱きました。» GPT-4 と同様のモデルを機能させることができるようになるまでにはまだ何年もかかるだろうと考えていた彼は間違っていました。この未来はすでにここにあります。»
開発者によれば、「私たちの優先事項は、それを使用する最も建設的な方法を見つけることです» 、AIについて話します。彼はこう付け加えた。Facebookがライセンス条件を緩和しないと仮定すると、LLaMAは、人々が将来使用する新しい基本モデルというよりは、ローカル言語モデルが消費者向けハードウェアで使用できるという概念実証となる可能性が高い。「とにかく、」ユーザーが自分のデバイス上で ChatGPT のような機能を提供する、最初の完全にオープンな言語モデルをリリースする競争が続いています。»
開発者はブログ投稿で、どのようにしてこの DIY を実現したかについて説明しています。 Simon Willison が、同じくブルガリアのソフィアに拠点を置くオープンソース開発者である Georgi Gerganov による llama.cpp プロジェクトについて語ります。後者は、Githubで公開されましたLLaMAは「MacBook 上で 4 ビット量子化を使用してモデルを実行します。» サイモン・ウィリソンは次のように述べています。4 ビット量子化は、モデルのサイズを縮小して、それほど強力ではないハードウェアでも実行できるようにするための手法です。また、ディスク上のモデルのサイズを削減することもできます。7B モデルでは 4 GB、13B モデルでは 8 GB 弱になります。「ザ」B» ここには、LLaMA で使用されるパラメータの数が 10 億単位で表示されています。
オープンソースまたはローカルで実行される言語モデルの危険性
ただし、これはオープンソースの世界にとって、またこれらの言語モデルの制御をこれらの少数の企業に限定することにとっては素晴らしいことですが、「リリース» いくつかの危険性があります。サイモン・ウィリソンは、このテクノロジーが害を及ぼすためにどのように使用されるかのリストを作成しました。
- スパムの生成
- 自動恋愛詐欺
- 荒らし行為とヘイトスピーチ
- フェイクニュースと偽情報
- バブル効果による過激化
しかも、これら複数の「チャットGPT» 彼女は、事実に基づいて正しい文章を書くことができるのと同じレベルで、いつでも虚偽のことをでっち上げることができます。ここにも「」の強みがあります。ガンマ»: 仮想マシン、API、または会話ツールを介して言語モデルへのアクセスを提供することで、モデレーション層を追加できます。常に改善する必要がある微調整を通じて、ユーザーがこれらの人工知能と対話する方法を制御できます。これらをローカルで実行すると、これらの制御層が失われる可能性があります。
大手デジタル企業だけが言語モデルを管理している
最後に、言語モデルの数は少数です。最も重要なものの中には、OpenAI の GPT-4 が含まれています。Google LaMDAあるいはMetaのLLaMAさえも。 Microsoft が OpenAI を完全に制御しない場合、彼はその会社に約100億ドルを投資した。最近発表されましたが、GPT-4 は GPT の新しいメジャー バージョンですこれにより、より多くのパラメータが考慮され、パフォーマンスがさらに向上し、精度が向上します。 「」という表現で言えば、ガンマ» 還元的に見えるかもしれませんが、実際には、最も人気のある言語モデルを管理しているのはこれらの少数の民間企業です。この制御の潜在的な危険性は非常に大きく、実際にはそれらはブラック ボックスであり、私たちにはあまり知られていません。
フランスでも他の取り組みが存在します。私たちにとって、最前線にあるのはハグフェイスとそのブルームモデルです。示されているようにル・フィガロ, 同社はフランス人3人によって設立され、その価値は20億ドルとされています。オープンソースでCNRSと協力して設計された言語モデル: それは「フランスの公共スーパーコンピュータ Jean Zay で 117 日間トレーニングされ、すでに 65,000 人以上の専門家によって無料でダウンロードされています」。野心は明らかです。Hugging Face は、ChatGPT と競合するフランス・ヨーロッパのブルームを夢見ています。このタイプの AI が依然として大企業に限定されているのは、その開発に多額の資金が必要だからでもあります。
生成 AI の実行にはコストがかかる
今週、Microsoft は Azure に新しい仮想マシンを導入しました、そのクラウド ソリューション: AI 向けに明確に設計されています。しかし、これらすべてが機能するには、マイクロソフトに訴えたGPU Nvidia H100。数億ドルかかるインフラストラクチャは、エヌビディア最終的には、すべての巨人が登場するこのレースの最大の勝者です。その上、この競争により、今後数か月以内にグラフィックス カードが再び不足する可能性があります、いくつかの予測によると。
サイモン・ウィリソンが書いているように息子の記事、自動テキスト生成モデルは、Stable Diffusion、Midjourney、さらには画像生成モデルよりもさらに大きくなります。FROM-E 2。彼にとって、「たとえ GPT-3 モデルを入手できたとしても、それを汎用ハードウェアで実行することはできません。通常、これらのモデルには複数の A100 クラスの GPU が必要であり、それぞれの小売価格は 8,000 ドルを超えます。»
これらのモデルを作成するには、優れたコンピューティング能力に加えて、資格のあるチームも必要です。サイモン ウィリソンの場合も、数十のモデルが存在しますが、次のボックスにチェックを入れることができるモデルはありません。
- 独自のハードウェアでの実行の容易さ
- 使えるほど強力（GPT-3以上の性能）
- 編集できる程度に開いておく必要があります。
Chiyoye