Nvidia が AI を使用して単純な画像をアニメーション 3D レンダリングに変換する方法

Nvidiaが開発した人工知能が改めてその技術力を発揮します。 GAN を使用してトレーニング (敵対的生成ネットワーク)これにより、彼は何十万枚もの画像を確認し、ラダ (適応型識別器拡張)これにより、画像を適応的かつ選択的に変換して画像を洗練できるため、AI は、その後処理する必要がある情報で自身を強化するのに十分な大きさのライブラリの欠如を補うことができます。

そして、この AI の可能性の最新の活用は非常に印象的です。

Nvidia Researchが新しいエンジンを開発ディープラーニングこれにより、単純な 2D 画像からオブジェクトの 3D モデルを作成できます。これらすべては、トロントの Nvidia AI Research Lab によって開発された GANVers3D と呼ばれる新しいアプリケーションを通じて行われます。

GANVers3D は、事前に取り込まれた何千もの画像を利用して、「画像を膨張」させて 3D で生命を吹き込み、仮想環境のコンピューター上でアニメーション化することもできます。

Nvidia は、建築家、ビデオ ゲーム クリエーター、デザイナー、さらには絵コンテシネマ、使いやすいツールを提供することで、3D モデリングをしたことがない人でも»、レンダリング、モデル、ドラフトに要素を追加するには...

Nvidia はエンジンの強さを証明するために、シリーズの有名な車 KITT をモデル化しました。K2000。シンプルな写真から、赤い LED ストリップを備えた黒い車は、3D コンピューター上で仮想化され、仮想シーンで走行し、ライトが点灯したり点滅したり、車体に照明効果が与えられたりしていることがわかりました。

次に、Nvidia Omniverse キットと Nvidia PhysX ツールは、KITT の可能性のある高品質マテリアルを使用してテクスチャを予測し、もう少しリアルさを与えました。したがって、GANVers3D は、Omniverse の拡張機能として機能します。アーティストがゲーム開発、都市計画、新しい学習モデルの設計のために、より豊かな仮想世界を作成できるように支援します。» と、ジャン・フランソワ・ラフレーシュの専門家が付け加えます。ディープラーニングエヌビディアで。

次に、アメリカの会社は、車両の装飾を進化させながら、色、質感、その他の要素を変更することがいかに簡単であるかを示しました。

物や馬は可能ですが、人はまだできません

これを達成するには、あらゆる種類の車両の 55,000 枚を超える画像を GANVers3D にフィードする必要がありました。」本物の写真» とプロジェクトの研究者兼著者である Juan Gao 氏は主張します。このようにして、さまざまな角度から撮影した写真が統合され、Nvidia の GAN テクノロジーを使用して合成されました。そして、2D 写真をメッシュ化し、3D レンダリングを行うプロセスが始まりました。その後、モデルの 1 枚の写真を挿入するだけで、ソフトウェアが作業を実行し、レンダリングを迅速に取得できます。

ニューラル 3D レンダリング エンジンによってサポートされているため、開発者はオブジェクトのパーソナライズを制御し、背景を変更できます。 Nvidia RTX GPU で実行し、Nvidia Omiverse プラットフォーム、最近発表され、3D でリアルタイムでコラボレーションしたい企業向けに設計された GANVers3D は、1 秒以内に 3D モデルを再作成できるようになります。レンダリングはオリジナルほど正確でも洗練されていませんが、それが重要ではありません。目的は、結果を迅速に、低コストで、そして使いやすく得ることです。

Nvidia 研究者の強みは、数千枚の写真を利用して GAN モデルを改良し、その AI が単純な 2D 写真から 3D オブジェクトを作成するためのデータを生成できるようにすることに成功したことです。プロセスを高速化してデータを迅速に生成するために、このテクノロジーは、特定の高さと定義されたカメラ距離で車両の視点を使用してレンダリングすることを選択します。

現時点では、GANVers3D は車両、馬、建物、静止した幾何学的オブジェクト、さらには人間の顔でも完璧に動作します。 Nvidia は、全身については、満足のいく結果を得るには可能な動きの点で十分な要素がないと説明しています。しかし、それも時間の問題です。