ラップトップに搭載されるこの新しいチップ、NPU とは何ですか?

2022 年以来、AI という 2 つの文字が人々の口をついてきました。人工知能は SF の枠から出現し、具体的な応用において私たちの生活に不可欠な部分になりつつあります。私たちのスマートフォン、コンピューター、タブレット、さらにはゲーム機さえも、多かれ少なかれ要求の厳しい AI に関連する計算タスクを処理できるようになりました。

ノミは特に私たちの部屋に自らを招き入れます。PCポータブル、NPU (ニューラルプロセッシングユニット)、従来のものよりもはるかに効率的な計算ユニットプロセッサーAI リクエストを処理します。これらが何に使用されるのか、そしてなぜそれらが現在コンシューマー コンピューティングの中心となっているのかを具体的に説明します。

私たちのコンピュータの新しいチップ

問題の核心に入る前に、SoC とは何かを定義する必要があります。この新しいチップである NPU は SoC の不可欠な部分となります。 SoC (System-on-Chip) は、スマートフォン、タブレット、その他のポータブル PC に関連する用語です。

従来のようにプリント回路上に複数の個別のディスクリート チップを搭載するのではなく、小型化によりプロセッサ (CPU)、グラフィックス チップ (GPU)、モデム、オーディオなど、すべてを 1 つの回路レベルで統合します。場合によっては、SoC が Mac コンピュータ内のセキュリティを目的とした Apple の T2 などの他のタスク専用になることもあります。

しかし、これらの SoC は、メーカーが統合したい用途やテクノロジーに応じて進化すると予想されます。 AI はスマートフォンだけでなくラップトップにも導入されており、この処理の一部をデバイス上で直接実行する必要が生じています。ここでは、Windows 上の Copilot を介して GPT などの自然言語モデルを実行し、処理や画像生成、さらには自動字幕やさまざまなアクセシビリティ機能を実行することについて話しています。

時間の経過とともに、これらの AI と IT のワークロードは機械学習部分的には現地で活動することができましたが、デバイス上で、ニューラルプロセッシングユニット用の専用チップNPUの統合により。 Appel ではこれを Neural Engine と呼び、Google では TPU の Tensor Processing Unit と呼んでいますが、目標は同じであり、AI 関連のワークロードを高速化することです。

プロセッサーとグラフィックスカード実行できる機械学習、しかし、この点では長所と短所があります。 NPU は、異なるパラメーターを使用して同じ操作 (行列またはベクトル) を何百万回も実行するニューラル ネットワークの操作を模倣するために、大量のデータを並行してシミュレートすることに特化しています。

CPU は非常に低いレイテンシで単一の推論タスクに集中できますが、GPU は AI アクセラレータ チップ (特に Nvidia RTX グラフィックス カードの Tensor コア) のおかげで、大量のデータを並行して処理できますが、はるかに高いエネルギー消費量。 NPU は、TOPS と計算精度に大きな違いがあるため、実際の LLM をローカルで実行したり、高度な画像生成を実行したりするなど、大規模な推論ジョブでは依然として GPU に大きく遅れをとっています。

NPU の生の電力は、GPU の TFLOPS と同様に、1 秒あたりの演算数を表す TOPS で計算されます。したがって、現在の SoC の NPU は 40 ～ 50 TOPS の間で変動し、一部の消費者向けグラフィックス カードは 1000 TOPS をはるかに超えますが、消費量ははるかに高くなります。

これらのチップの演算精度にも注意する必要があります。この値は整数とビットとして報告され、速度と精度の間のトレードオフを表します。したがって、実行速度が最も重要なタスクでは、最小精度である INT4 が役立つことがわかります。

INT8 値は通常、NPU の生の電力を計算するためにメーカーによって好まれており、画像認識や基本的な写真/ビデオ処理などの用途に十分な計算速度を実現する優れた計算精度を提供します。

一般にメーカーは、一般の人々が使用するのに十分な精度であるため、INT8 で考えますが、専門家や科学者は、ニーズに応じて 16 ビット、さらには 32 ビットの精度を好みます。これらの値はより正確ですが、それ以外の場合は生の電力がより要求されます。

私たちの機械は何に使われるのでしょうか？

ユーザーにとっては、遅延とセキュリティが重要です。 NPU にデポートされた一部の AI タスクは、クラウドよりもローカルでより迅速に処理されます。すべてはチップの堅牢性に依存します。したがって、選択したワークロードに応じて、このタスクまたはそのタスクは NPU 上またはクラウド上でローカルでより適切に機能します。

NPU は、ライブ翻訳、Windows の自動字幕、Microsoft Teams や Google Meets で見られるカメラ効果などの軽いタスクのために CPU と GPU の作業を実際にオフロードします。 Microsoft は、Windows 上でこれらすべてのタスクにおいて NPU が CPU よりも 100 倍効率的であることを保証しており、その結果自律性が向上します。

Windows では、AI による AutoSR アップスケーリング機能のおかげで、NPU を使用してゲームのパフォーマンスを向上させることもできます。 Mac では、システムのあらゆる面に統合された Apple の AI アシスタントである Apple Intelligence を実行するために Neural Engine が使用されます。

ローカル人工知能はまだ初期段階にあるため、これらの機能の一部を実行するにはインターネット接続がまだ必要です。しかし、NPU は速度と精度を向上させ、ラップトップの生産性と創造性を向上させるための他のアプリケーションや用途への扉を開きます。いずれにせよ、それが彼らの約束です。

愛好家のコミュニティに参加してみませんか?私たちの不和ここは相互扶助とテクノロジーに対する情熱の場所です。