グロクはフィールド上で話題になっている新参者だ。同社は、グラフィックスプロセッサと人工知能の巨人であるエヌビディアに果敢に挑戦する新興企業だ。 Groq は想像するだけではありません。伝えられるところによると、彼らはこれを最新の LPU (Language Processing Unit) で行っており、ChatGPT などの言語モデルからの応答速度を向上させることが期待されています。
Groq は、一般にはほとんど知られていない新興企業ですが、グラフィックス処理と AI テクノロジーの誰もが認めるリーダーである Nvidia に深刻な挑戦をもたらす可能性があります。いずれにせよ、これはメディアやX（Twitter）で読み取れることです。
しかし、グロクとは誰ですか？
コンテキスト
Groq 氏の観察によれば、私たちが現在使用しているコンピューターとプロセッサーは、同時に多くのタスクを処理するように設計されています。多くの部分が連携して動作するため、非常に複雑になっています。これらすべてを迅速かつ適切に機能させることは、特に学習して迅速な意思決定 (いわゆる推論) を行う人工知能のようなアプリケーションの場合、非常に頭の痛い問題です。特に推論では、あまり多くのエネルギーを消費せずに、答えが迅速に得られることが必要です。
これらすべてを管理するために、プロセッサの設計者はチップにさらに多くのコンポーネントと機能を追加し、チップをさらに複雑にしました。しかし、AI 関連のタスクなど、特定のタスクではあまり役に立ちません。これらの追加は、これらの用途では処理を高速化しないからです。
グラフィックス プロセッシング ユニット (GPU) は、大量の計算を並行して実行できるため、部分的な解決策となってきました。これは、たとえば画像やビデオに最適です。しかし、特に待たずにデータを迅速に処理する場合には、それらでも限界に達します。
そこでGroqは別のことを思いつきました。彼らは、テンソル ストリーミング プロセッサ (TSP) と呼ばれる一種のチップを作成しました。
Le LPU (言語処理ユニット) de Groq
Groq は、LPU (言語処理ユニット) の開発により、以下を含む AI モデルの実行を約束します。言語モデルChatGPT のように、現在の GPU ベースのソリューションよりも最大 10 倍高速です。さらに良いことに、価格性能比は Nvidia よりも 100 倍優れています。数か月間クラウド ナインに留まっていた Nvidia を屈服させるのに十分なほど、このアメリカの企業は現在、Meta や Amazon と同じくらい評価されています。
さらに進むには
LLMとは何ですか? ChatGPT、Google Bard などのエンジンはどのように動作しますか?
この進歩の鍵は、AI 推論タスクを最適化するために特別に設計されたチップである GroqChip の独自のアーキテクチャにあります。
データ処理に高帯域幅メモリ (HBM) に依存する従来の GPU とは異なり、Groq の LPU は約 20 倍高速な SRAM を使用します。このアプローチは、特にモデルのトレーニング プロセスよりも必要なデータが少ない推論モデルの場合、エネルギー消費を大幅に削減し、データ処理効率を向上させます。
GroqChip は、一時的な命令セットに基づく処理アプローチにおいても現在の GPU とは異なります。これにより、メモリからデータを頻繁にリロードする必要がなくなります。この技術は、HBM 不足による制限を回避するだけでなく、生産コストも削減します。
GroqChip の有効性は速度の観点だけでは測られません。 Nvidia H100 pro チップと比較して、GroqChip の価格/性能比は 100 倍高いと推定されています。違いは、シーケンシャル処理へのアプローチであり、シーケンスに続く自然言語やその他のデータに最適です。
これらのパフォーマンスは、Google の Tensor Processing Units (TPU) から直接インスピレーションを得た、言語モデル (LLM) の処理の特化を重視した設計の結果であると考えられます。 Groq の背後には、スタートアップの CEO 兼創設者である Jonathan Ross がいると言わなければなりません。彼は、Google の AI を支える TPU チップである Tensor の作成者です。
Groq のアプローチは、速度、幅、低消費電力を重視しており、行列計算の高速実行とメイン メモリのより効率的な管理を志向する Nvidia のアプローチとは対照的です。この根本的な違いは、エネルギー効率の向上と、より高度な製造プロセスへの移行によって強化されます。現時点では、Groq のチップは 14 nm で刻印されていますが、4 nm への移行がすでに検討されています。
つまり、彼らは競争相手を大きく引き離すスピードと効率で、LLM のゲームを変えることになるでしょう。明らかに、これは Nvidia GPU への依存が大幅に減少する可能性があることも示唆しています。
Nvidia を急いで葬るべきではありません。このアメリカの企業は、GPU およびその他の分野で革新を続けています。トレーニング用の GPU の比類のないパフォーマンスが依然として大きな競争上の利点であることを忘れないでください。
さらに、Nvidia は CUDA と関連ツールを中心に堅牢なソフトウェア エコシステムを構築しており、これにより、GPU での AI アプリケーションの開発と実行がよりアクセスしやすく効率的になります。この豊かなエコシステムは競合することが難しく、研究者や開発者が Nvidia 製品に強く依存することになります。
これは、Nvidia がクラウド企業、コンピューター メーカー、研究機関と多数のパートナーシップを確立し、AI のトレーニングと推論に自社の GPU を広く採用している理由を説明しています。
要するに、続きます。
Chiyoye 
Chiyoye