OpenAI は、人工知能に基づく新しいツールをリリースしました。これを使用すると、画像を含む Dall-E やテキストを含む ChatGPT など、テキストから 3D モデルを作成できます。クリエイターの 3D 制作を大いに支援してくれる AI。

Dall-Eの説明図 //出典:OpenAI

OpenAI は、テキストから 3D 点群を作成できる新しい画像作成ツール Point-E のリリースを発表しました。このスタートアップはイーロン・マスクとつながりがあり、人工知能再発、したがってその後ダルイーなどチャットGPT考えられる用途が印象的であるため、ここ数カ月で大きな成功を収めています。

アレックス・ニコル率いるチームによれば、「Point-E は多くの場合、複雑なクエリに対して一貫した高品質の 3D 形状を生成できます。» こちらもカラーです。それが現存する最良のツールではないとしても、その作成者は、それがこれまでで最も速いと確信しています。

OpenAI エンジニアにとって、ツールの最大の功績はその速度、ひいてはそれを機能させるための低いコンピューティング能力です。科学論文の中で、彼らはテキストによる 3D オブジェクトの生成について次のように説明しています。新しい方法では通常、数時間の時間がかかります。GPU単一のサンプルを作成する」。 Dall-E が数秒で画像を作成できることと、Meta はビデオも作成できます

Point-E によって生成された画像のアンソロジー // 出典: OpenAI

したがって、OpenAI は代替方法を使用することにしました。単一の GPU でわずか 1 ~ 2 分で 3D モデルを生成します」。これまでのところ、Point-E は数百万の 3D モデルでトレーニングされており、標準のコンピューター形式に変換できます。

3D 要素の自動生成プロセスの図 // 出典: OpenAI

人工知能はまず、テキストから画像へのモデル (Dall-E など) を使用して独自のビューを生成すると言われています。プログラムは、この生成された画像から 3D ポイントを作成します。このステップの終了時点で、モデルには 1024 個のポイントが含まれており、プログラムはこれを改良して 4096 ポイントに到達します。

Point-E が他の人工知能より優れている理由

これら 2 つのステップはそれぞれにわずか数秒しかかからないため、3D モデルをより迅速に作成できます。 Point-E は、次の 2 つの生成方法の利点を組み合わせることを目的としています。

  • 1 つ目は、ペアのデータから 3D 生成モデルをトレーニングすることで構成されます。
  • 2 つ目は、事前トレーニングされたテキストから画像へのモデルを使用して、これらの画像を 3D で表現します。

他の実験的な AI が現在行っていることとは異なり、Point-E はまさに 3D から切り離すことで、必要なコンピューティング能力を削減することができます。他のプログラムでも 3 次元要素を生成できますが、開発者は、遭遇する主な問題は「最適化手順» 大量のグラフィックリソースを必要とします。これが実用的なツールの作成を妨げる原因で​​す。

Point-E からの結果 // 出典: OpenAI

Point-E のもう 1 つの大きな強みは、トレーニング ベースとして 3D オブジェクトではなく画像を使用することです。後者ははるかに大量に入手可能です。これにより、あらゆるタイプの要素をより複雑な記述から生成できるようになります。

この OpenAI ツールの可能な用途

Point-E は 3D コンテンツの作成に革命をもたらし、映画であれビデオ ゲームであれ、モデラーの作業を支援する可能性があります。次のようなゲーム エンジンへの統合を想像できます。アンリアル エンジンこれにより、テキストによる説明に基づいて、数秒で生成されたオブジェクトを仮想世界に統合できるようになります。

特に、その競争上の利点は間違いなく最も実用的なものであるため、その実行速度です。彼の向かいには、DreamFusion もあります。グーグル、この分野でも大きな打撃力を持っています。

さまざまな視点からの Point-E の合成レンダリング // 出典: OpenAI

の作成に役立つのに十分ですメタバースそしてより一般的には宇宙から仮想現実/拡張現実。今のところ、このソフトウェアにはまだ制限があります。まず、生成されるオブジェクトの定義はまだ非常に弱いですが、エンジニアにはアイデアがあります。

どの自動生成ツールが被害者となり得るかには明らかにバイアスがあり、これが OpenAI サイトの誰もが Point-E にアクセスできない理由の 1 つです。たとえば、この AI に武器計画の生成を依頼することも十分に考えられますが、これは絶対に避けなければなりません。ただし、Point-E はオンラインになりました。ギットハブプロジェクトのコンテンツは次のとおりですので、誰でも閲覧できます。オープンソース