このツールはあなたの落書きを芸術的な傑作に変えます

Scribble Diffusion は、テキストによる説明を伴う手作りの絵を芸術作品に変えるオープンソース アプリケーションです。落書きを絵に変える最初のツールでも最後のツールでもありません。自動描画すでに線を描画に変換できます。それを説明しますヌメラマ。

ControlNet に基づく

このツールは以下に基づいていますコントロールネット、Lvmin Zhang と Maneesh Agrawala によって開発されたニューラル ネットワーク フレームワーク。このモデルは、ControlNet と安定した拡散を組み合わせています。したがって、落書きとテキストを条件として使用して、画像生成を指示します。

ControlNet は落書きを取得し、Canny エッジ検出器を使用してそのエッジを検出します。迅速なキーポイント検出モデルである Openpose などの他のツールも使用されます。後者は手の位置などの特定の要素を抽出できます。

最終的には、ラフなスケッチでも高品質の画像に変換することができます。絵を描くのが苦手で、すぐに犬に落書きをした場合、「犬」という指示を出すだけで、Scribble Diffusion を介した ControlNet がそれを芸術作品に変換します。基本的にマウスで描画すれば、あとは AI が処理してくれます。アクセスできますこのリンクを介して Scribble Diffusion で、あなたの成果を見るのが待ちきれません。

ControlNet は誕生してわずか 3 週間です

OpenAI の最近のツールと同様に、ControlNet はわずか 3 週間前に発表され、開発者はすでにこのテクノロジーを使用してアプリケーションを構築しています。同じくオープンソースの Stable Diffusion に関連するこれらのツールは、開発者や機械学習愛好家にさまざまなタイプのモデルを実験する機会を提供します。

素晴らしいAI

他のモデルには次のものが含まれますリフュージョン、オーディオ画像をオーディオに変換することで、AI 音楽をリアルタイムで生成します。このアプローチには、安定拡散を改良して、オーディオの視覚化であるスペクトログラムを作成することが含まれます。もう 1 つのモデルである Amazing AI は、Stable Diffusion 1.5 に基づいて構築されており、macOS 上でネイティブに動作するため、使用するためにインターネット接続は必要ありません。すべての計算はローカルで実行されます。