Nvidia は、数秒で数枚の写真を 3D シーンに変換できる新しい AI モデルを発表しました。
「75 年前、ポラロイドは写真を数分で印刷できるようにしました。 AI (人工知能) が 2D 写真を数秒で 3D シーンに変換します。 »これは多かれ少なかれ、Nvidia の研究部門が開発者専用の年次カンファレンスである Nvidia GTC で発表したばかりのプロジェクトです。新しい Nvidia Hopper アーキテクチャそしてオムニバースクラウド。
短いビデオで機能を紹介します。
Cookie やその他のトラッカーを受け入れていないため、このコンテンツはブロックされています。このコンテンツは YouTube によって提供されています。
これを表示するには、YouTube によるお客様のデータの使用を受け入れる必要があります。この使用は、コンテンツの表示とソーシャル メディアでの共有を可能にし、Humanoid とその製品の開発と改善を促進する目的で使用される可能性があります。パートナー、あなたのプロフィールとアクティビティに基づいてパーソナライズされた広告を表示し、パーソナライズされた広告プロファイルを定義し、このサイト上の広告とコンテンツのパフォーマンスを測定し、このサイトの視聴者を測定します（もっと詳しく知る）
「すべてを受け入れる」をクリックすると、Humanoid とそのパートナー。
同意はいつでも撤回できます。詳細については、ぜひお読みください。クッキーポリシー。
明らかに、Nvidia は、数十枚の写真から 3D シーンを作成できるニューラル ネットワークに基づくモデルを提示しました。したがって、モデルは異なる画像間のギャップを埋めます。
驚異的なスピード
最も驚くべきことは、Nvidia が数枚の写真から 3D シーンを作成することに成功したということではなく、むしろグラフィックス カード メーカーがこれを非常に高速に、ほぼ瞬時に実現できると主張していることです。
これを実現するために、Nvidia は と呼ばれるテクノロジーを利用しました。神経放射フィールド（NeRFとも呼ばれます）。これはラスター イメージに似た働きをし、シーン内で光がどのように動作し、あるオブジェクトから別のオブジェクトに放射するかを非常に高密度でキャプチャします。
サンタクララの会社は、自社のモデルのトレーニングに必要な時間はわずか数秒で、数十枚の（すべて同じ）写真と、それを撮影したデバイスからのデータを使用して、数十回で 3D シーンを作成できると説明しています。ミリ秒。
JPEG と同様に重要であることはまだ証明されていませんが、可能性はあります。
Nvidia は、このモデルに Instant NeRF という名前を付けました。これは、古い NeRF モデルよりも 1000 倍高速であることもあり、ほぼ瞬時に動作するという側面を明確に強調するためです。 Nvidiaはこれに大きな期待を寄せています。納得するには、グラフィックス調査担当副社長の David Luebke 氏によるこの比較を読んでください。彼にとって、この新しいプロセスは、2D 写真の JPEG 圧縮と同じくらい重要である可能性があります。
具体的な用途に関して、Nvidia は非常に多くのケースに賭けることができます。最も人気があり、すぐに思い浮かぶのは、このようなフォトリアリスティックな 3D シーンをビデオ ゲームに統合することです。これは、映画の記念碑を統合するのとよく似ています。Microsoft Flight Simulator の非常にリアルな 3D。もちろん、これは非常に印象深いでしょう。
しかし、他にも多くの機会が考えられます。たとえば、Nvidia はトレーニングの可能性について言及しています。「ロボットと自動運転車は、現実世界の物体のサイズと形状を理解します。」。
建築での使用が明らかに検討されており、さらにはエンターテイメントでの使用も検討されています。「実際の環境のデジタル表現を迅速に生成し、クリエイターはそれを変更できるようになります。」またはオーディオビジュアルまたはビデオゲーム体験に統合します。おわかりかと思いますが、Nvidia の Instant NeRF について再び聞くことも不可能ではありません。
Chiyoye