Unity の責任ある AI とモデルトレーニングの強化

Unity Muse は、探索し、アイデアを出し、イテレーションを行う作業を強力な AI 機能によって支援します。そのうちの 2 つの機能が、自然言語と視覚的入力を使用可能なアセットに変換する Texture と Sprite です。

Muse を通して Unity エディターに AI が導入されたことで、アイデアを素早く具体的な形に変換してビジョンをより簡単に実現できる選択肢がもたらされます。また、テキストプロンプト、パターン、色、スケッチを使用して調整とイテレーションを行い、実際のプロジェクトで使用できる出力に変換することもできます。

安全で、責任があり、他のクリエイターの著作権を尊重した有用な出力を提供するために、私たちは AI モデルのトレーニング技術を革新して Muse のスプライトとテクスチャの生成を強化することに挑みました。

このブログ記事では、Muse がどのように結果を生成するかを共有し、モデルのトレーニング手法を明らかにしたうえで、2 つの新しい基盤モデルを紹介します。

Unity は Muse の Texture 機能と Sprite 機能の提供を開始するにあたり、私たちが所有している、またはライセンス供与されているプロプライエタリデータを基にゼロからトレーニングしたオーダーメイドの 2 つの拡散モデルも開発しています。

データセットの規模と多様さを向上するために採用している重要な技術の 1 つはデータ拡張です。データ拡張により、Unity が所有するオリジナルのデータサンプルから多くのバリエーションを生成できます。これによりトレーニングセットが大幅に強化され、モデルの能力が向上するため、限られたサンプルから汎化できるようになります。また、幾何変換、色空間調整、ノイズ注入といった技術のほか、Stable Diffusion などの生成モデルを使用したサンプルバリエーションも活用して、合成によってデータセットを拡張しています。

Stable Diffusion は、そもそもインターネットから収集されたデータでモデルがトレーニングされているため、最近は倫理的な問題が指摘されています。Unity は、私たちが所有しているデータや責任を持って収集したデータから成るオリジナルのデータセットで潜在拡散モデルのアーキテクチャをゼロからトレーニングすることによって、Muse のテクスチャとスプライトの機能を構築する際にトレーニング済みモデルへの依存を制限しました。データ拡張技術において Stable Diffusion モデルの使用を最小限に抑えているため、このモデルを安全に活用して、Unity が所有するアセットのオリジナルライブラリを堅牢で多様な出力リポジトリに拡張できました。このリポジトリには、独自のオリジナルな出力が含まれますが、著作権で保護されたアートスタイルは含まれません。これに加えて、この後で説明する追加の対策も施しました。Muse のテクスチャとスプライトの機能を支える潜在拡散モデルのトレーニングデータセットは、インターネットから収集されたデータで構成されていません。

上述の拡張技術によって拡張されたコンテンツの例をいくつか紹介します。

既存データを拡張した後、さまざまな対象には依然としてギャップがあり、それを解消する必要がありました。これを行うために、その動作が大幅に変更されるまで、Unity 独自のコンテンツで Stable Diffusion をトレーニングしました。これらの派生モデルを使用して、事前フィルタリングされた対象のリストから全く新しい合成データを作成しました。対象のリストは、人が確認し、さらに大規模言語モデル（LLM）を使用した自動フィルタリングを適用することで、Unity の指針に反するような合成画像や、見覚えのあるアートスタイル、著作権で保護されたマテリアル、および潜在的に有害なコンテンツを一切含まないデータセットの実現を阻害するような合成画像が作成されることがないようにしました。

その結果、拡張された画像と完全に合成された画像でそれぞれ構成される 2 つの大規模なデータセットが得られました。私たちには、これらのデータセットに不要なコンセプトが含まれていないという強い自信がありました。自信はありましたが、フィルターをさらに追加してモデルの安全性を確保したいと考えました。

安全性、プライバシー、および Unity のツールがマイナスの影響を与えずに皆さんを支援することが私たちの主な優先事項であるため、データセットに追加のフィルターを適用するための 4 つの選別用モデルを開発しました。これらのモデルは、データセットに含まれるすべてのコンテンツが Unity の AI 指針で定められた基準と画質の追加チェックの内容を確実に満たすようにする上で役立ちました。

これらのレビュー用モデルは一緒に使用され、合成画像が以下を満たしていることを断定する役割を果たしました。

• 見覚えのある人間の特徴を含んでいない
• 商標登録で保護されているアートスタイルを含んでいない
• 知的財産の文字やロゴを含んでいない
• 品質が許容されるレベルである

4 つのレビュー用モデルのいずれかで要求される信頼性の高いしきい値を満たさなかった画像は、データセットから除外されました。信頼性の高い画像のみがフィルターを通過して最終的なデータセットに含まれるようにするために、慎重に慎重を重ね、モデルが画像を除外することに重きを起きました。

Unite では、Muse のテクスチャとスプライトの機能をいち早く利用できることを発表しました。これらのツールを強化するモデルの最初のイテレーションを、社内では Photo-Real-Unity-Texture-1 および Photo-Real-Unity-Sprite-1 と呼んでいます。これらのモデルは、基本的な定型化のみを理解し、フォトリアリズムに主に重点を置くように設計されています。

さらに、プロジェクトの既存のスタイルに合うようにモデルを導きたい場合は、いくつかの独自の参照アセットをスタイルトレーニングシステムに提供すれば、特定のアートスタイルのコンテンツを作成する方法をモデルに教え込ませることができます。そうすることで小規模な二次的モデルが作成され、メインモデルと連携して希望の出力を導きます。この小規模な二次的モデルは、ユーザー個人またはユーザーが所属する組織専用のトレーナーとして機能します。Unity がこのコンテンツをメインモデルのトレーニングに使用することは決してありません。

Unity のモデルはフォトリアリズムに重点を置いているため、無数の異なるスタイルでメインモデルをトレーニングする必要はありませんでした。このアーキテクチャのおかげで、責任ある AI を確約しながらメインモデルを容易にトレーニングできると同時に、より掘り下げて細部を調整できるようになります。

現在のモデルはほんの始まりにすぎません。Unity は Muse が今後もいっそうスマートになり、出力がさらに改善されると考えています。私たちはこれからもモデルを改善するロードマップを使用したこの方針の下でモデルを導いていきます。

現在、私たちのテクスチャモデルはあらゆる点において非常に優れています。相当な量のコンセプトを学習しており、全く関係のないコンセプトを自由に組み合わせて、上記の「金属スライム」や「青いクリスタルガラスの岩」のような美しい作品を生み出すことができます。

このモデルは現状でも非常に優れていますが、Unity はさまざまなプロンプトや入力方法への応答方法を学んだ結果、1 語のみのプロンプトで高度なマテリアルのコンセプトを実現することは困難であることに気付きました。各自のビジョンに沿ったモデルを導く方法は他にもありますが、基本的なプロンプトの精度を保ち、モデルを導く新たな方法を追加するという観点から、引き続きユーザーがより多くを制御できるようにしたいと考えています。

将来的には、カラーピッカー、作成済みのさらなるガイダンスパターン、独自のガイダンスパターンを作成するための改善されたシステム、新たな複数の視覚的入力方法を追加する予定であり、現在それぞれを試しているところです。

今後 Photo-Real-Unity-Texture-1 で主に重点が置かれるのは、弱いマテリアルのコンセプトを特定し、モデルの頻繁な再トレーニングによって全体的な品質と能力を向上し続けることです。ツール内の評価システムを通じたフィードバックは、モデルの能力の弱点を特定するのに役立つため、私たちが可能な限り最高のツールを構築する上で不可欠です。頻繁なトレーニングスケジュールと組み合わせることで、モデルを速やかに改善して、マテリアルの環境に関する情報が豊富なモデルにしています。

Photo-Real-Unity-Texture-1 と同様に、基本的なスプライトモデルは全体的に非常に優れており、多くのコンセプトを知っています。このツールにはまだアニメーション機能が組み込まれていないため、まずは最もよく使用されるスプライトの静的なコンセプトの品質を最大化することに重点を置くことにしました。上の画像は、ベースモデルの生の出力です。通常の使用では、これらはユーザーがトレーニングしたモデルによって、特定のアートスタイルに合致するように導かれます。

静的オブジェクトはすでに非常に信頼性がありますが、Unity は解剖学的な観点での動物や人間の精度向上に取り組んでいます。このような種類の対象では良い結果を得ることができますが、手足が余分にあったり、欠けていたり、顔が歪んでいたりする場合があります。これは、責任ある AI の確約と、使用できるデータに厳しい制限があることに伴う副作用です。このツールをいち早く利用できる初期リリースでは、一部の対象の品質を犠牲にしても、プライバシーと安全性を最重視しています。

これは、責任ある AI の確約と、使用できるデータに厳しい制限があることに伴う副作用です。このツールをいち早く利用できる初期リリースでは、一部の対象の品質を犠牲にしても、プライバシーと安全性を最重視しています。

完全に空白のスプライトが生成される場合もあります。これは、ビジュアルコンテンツのモデレーションフィルターが原因です。Photo-Real-Unity-Sprite-1 の出力フィルターに関しては、初期リリースでは敢えて過剰なまでに慎重になっているため、一部のアートスタイルがフィルターの誤検出を引き起こす場合があります。引き続き皆さんからのフィードバックを受けてコンテンツフィルターを改善していく過程で、徐々に制限を緩和していくつもりです。

フィードバックを受け取り、より多くのデータを責任を持って調達し続けることで、すべての対象の品質が急速に向上すると考えています。Photo-Real-Unity-Texture-1 と同様に厳しいトレーニングスケジュールによって、Photo-Real-Unity-Sprite-1 をトレーニングする予定です。

Unity Muse は、可能な限り最も責任と敬意のある方法で生成 AI の力を利用して、私たちのコミュニティがいっそう自在にクリエイティブな作業を行えるようにする第一歩です。Unity はこの製品をユーザーファースト主義で構築しており、皆さんからのフィードバックを基に今後も変更と改善を続けていくことを目指しています。

私たちは、生成 AI がクリエイティブ産業に与える潜在的な影響を認識し、それを非常に真剣に受け止めています。私たちはクリエイターに取って代わるのではなく、クリエイターの能力を高めることができるように、時間をかけてこれらのツールを開発してきました。より多くのクリエイターがいれば、世界はもっと良い場所になると信じています。Unity Muse とそれを支えるモデルによって、私たちはこのミッションを支援し続けます。

今後も Unity Muse と AI 開発に関するニュースをお届けしてまいりますので、どうぞお見逃しなく。これらの製品についてのお問い合わせは、Unity のウェブサイトの FAQ をご覧いただくか、Discussions にアクセスしてチャットで直接お尋ねください。

Unite 2023 に参加された方は、数週間のうちにイベントセッションの録画を共有する予定ですのでもうしばらくお待ちください。すべての記事はこちらからお読みいただけます。