ArtEngine の Chrome Ball ノードによるフォトメトリックステレオを使って、リアルなマテリアルを作る

Chrome Ball ノードを使ったフォトメトリックステレオをご紹介します。これは、どんな表面からでも驚くほど写実的なオリジナルの物理ベースレンダリングマテリアルを作る便利な手段です。

この新しい ArtEngine ノードは、さまざまな角度から光で照らされた静止した表面にクロムボール（光を反射する球体）を置いたところを撮影した複数の写真を解析して、詳細なアルベドマップと法線マップを自動的に生成します。

このフォトメトリックステレオ法を使えば、屋内外の表面をより迅速にキャプチャして、独自の高品質な PBR 素材を作成することができます。

必要なものは、カメラ、三脚、光源、光を反射するボール、暗い環境、そしてもちろん ArtEngine です。

光があまり入らない撮影環境を準備し、クロムボールを置いて固定したカメラで 4 〜 16 枚撮影します。撮影のたびに、光源の位置を変えます。コンピューターに戻って、マスクを追加し、画像を ArtEngine に読み込み、ノードを実行します。ボールをクロップすれば完成です。

それぞれの画像のクロムボールの反射を利用して光の方向を推定しています。すべての画像を分析することで、ArtEngine は正確な表面特性を持つ法線マップとアルベドマップを生成することができます。

リアルさを追求するアーティストやテクニシャンにとって、現実世界の表面に見られる微妙で粗いディテールを捉えることが非常に難しい課題として立ちはだかります。実際、カスタム機器が必要になることも多々あります。

異なるライティング条件で物体を観察することで、表面の法線を推定することができます。この手法は「フォトメトリックステレオ」と呼ばれています。ArtEngine の Multi-angle to Texture ノードはこの手法をサポートしていますが、厳密なライティング角度が必要となるため、カスタムのスキャンリグを使って作業が行われることもあります。

しかし、Chrome Ball ノードによるフォトメトリックステレオでは、これまでと同じようなプロフェッショナル水準の結果をもたらしながらも、プロセス全体がより早く、安価で、柔軟になっています。

フォトメトリックステレオを実際に試すために必要なものの詳細なリストは以下の通りです。

• カメラ：リモコンまたはタイマーレリーズ付きのもの
• 三脚：加えて、地上を撮影する場合はブラケットやエクステンションも必要
• 光源：十分な明るさを出せる手持ちライト、フラッシュライト、またはフラッシュ（レンズバンディングのない LED）
• クロムボール：光を反射する球体（磨き上げられたステンレスや黒曜石などでできた球体）
• ソフトウェア：ArtEngine

クロムボールの選び方

球体は磨かれていて光をよく反射するものを選びましょう。選択肢としては以下のものがあります。

• ステンレス：磨き仕上げまたはクロム仕上げのソリッドベアリングボール
• ガラス：黒曜石（真っ黒なもの）
• スヌーカー・ビリヤード用のボール：フェノール樹脂またはポリエステル（真っ黒なもの）
• おすすめの大きさ：直径 2 ～ 5cm

光源は手持ちでも大丈夫です。結局、厳密なライティング角度は求められないからです。あとは撮影環境の周りを時計回りまたは反時計回り（または両方の向きを混ぜてもよい）に回るだけです。

セッション中は、光源を動かす皆さん自身が動くのと、光源の位置を変更する以外は、何も動かしてはいけません。

撮影するたびに光源を表面の中心に向け、一定の距離を保ちます。

三脚の影が撮影環境に落ちないように注意してください。

簡単にするために、光源とカメラはスキャンの中心からほぼ等距離になるようにします。

撮影環境の周りをまわっている間は、スキャンの中心から垂直方向に約 45° のライティング角度を維持するか、または図の中の「safe zone」内にいるようにします。

シャッターを切るたびに光源を固定します。

ライティング

撮影環境には光が当たらず、暗ければ暗いほど望ましいです。できるだけ夜の屋外や暗い部屋で撮影を行うようにしましょう。自分が持っている光源が主な光源でなければなりませんが、夕暮れや月光程度の環境光があっても一般的には問題ありません。 

分析のためには、光が表面を照らし、球体上に明確に光を反射しているとわかる点を作る必要があることを覚えておいてください。レンズバンディングのない明るい LED トーチがおすすめです。また、レンズを外して LED を露出させることができるトーチもあります。このような道具を使えば、屈折のない明るい光源を得ることができます。

カメラ

一度設定したカメラは、セッションの間はずっとしっかりと固定されていなければなりません。タイマー式のインターバル撮影機能やリモコンを使ってシャッターを切りましょう。

露出

また、カメラの露出を設定して、光をなくしたときに黒くレスポンスが出るようにするのも良い方法です。そして、光を当てた状態で写真を撮ります。

三脚

カメラは三脚などでしっかりと固定し、撮影環境にさまざまな方向から光を当てられるようにします。

スキャン表面領域

大きな面積をスキャンする場合は、より強い照明が必要です。また、カメラの距離が長くなれば、より大きなクロムボールが必要になるかもしれません。

（相対的な）球体の大きさ

スキャンされた球体の画像は、分析に十分な鮮明さを持っていなければなりません。これには 3 つの変数が影響します。すなわちカメラの距離、画像の解像度、そして球体の物理的な大きさです。球体自体にブロックノイズが発生してしまうと、精度が落ちてしまいます。ほとんどの場合、推奨される直径は 2 ～ 4cm です。滑らかな表面では、安定性のためにワッシャーを使用してください。球体を配置する際には、磨いて汚れを落としておくとよいでしょう。

スキャンの数

最大で 16 枚の画像を処理することができます。求める臨場感に応じて使うべき画像の数は変わりますが、最低でも 4 回は撮影することをお勧めします。1 周した後に撮影した領域に重なりがあっても全く問題ありません。  

スキャンが終わって画像ができあがったら、あとは ArtEngine で加工するだけです。

分析を行うためには、ボールの位置を示す簡単なマスク画像が必要です。カメラ、球体、表面自体は静止しているので、入力されたスキャンのうちどれか 1 つを使って、球体のサイズと位置を示す白い円板の入った黒いマスクを作成することができます。マスクは 100% 白黒（グレートーンは不可）にしてください。

ArtEngine では、任意の画像を読み込んでこのマスクを作成します。そして、Mask Paint ブラシのサイズ（直径）を調整し、影を無視してボールを正確に覆うようにします。

球体がスキャンの中心付近に配置されていないと、レンズの歪みによって球体が細長く見えることがあります。もしそうなっている場合は、少し中心寄りにずらしてください。なお、楕円ではなく、正円の円板を作ることが重要です。また、細かい部分まで描き込むことにこだわるのもやめましょう。

次に、このマスクをスキャン画像と同じフォルダーに、ファイル名に「mask」と入れて出力します。ArtEngine では、自動的に白黒画像として保存されます。これで、画像を処理して PBR マテリアルを作成する準備が整いました。

画像のインポート

標準の Multi-Angle to Texture ノードでは各画像が入力ピンに配線されていますが、Chrome Ball ノードでは、入力ピンを使うか、または入力フォルダーを参照するかをノードのプロパティパネルから選択できます。

プロパティパネルには Mirror Shape、Shadow Strength、Normal Gradient の 3 つの設定があります。

Mirror Shape（ドロップダウン）

これは、球体と半球のどちらを使用したかを指定するためのものです。これはオブジェクトの高さをアルゴリズムに伝えるための設定で、球体を選べば直径程度、半球を選べば半径程度の高さであるとアルゴリズムは判断します。Mirror Shape を適切に設定することで、正確な計算が可能になります。光を反射する半球は見つけるのも作るのも難しいですが、使うと影が少なくなります。

Shadow Strength（スライダー）

光を反射する球体を使ってアルベド画像を作成する場合、その計算精度に関する情報はすでに得られています。この情報をもとに、アルベド画像の誤差を補正することができます。一般的には、影と光沢のトレードオフになります。Shadow Strength を上げると影が多くなり、光沢がなくなります。逆に下げると、結果も逆になります。このオプションは法線の計算やアルベドの基礎となる部分には影響しないため、この値を変更した後の再計算は最適化されています（範囲は 0 ～ 1）。

Normal Gradient Removal（スライダー）

これは、出力として得られる法線マップ（範囲は 0 ～ 1）に、法線を考慮したグラデーション除去を適用します。このノードは、出力を 2 つの独立したマップにすることも、1 つのマテリアルにすることもできます。

ノードを実行すると、入力フォルダー内の最初の 16 枚の画像（マスクも含む）がアルファベット順に処理されます。画像の数が少なすぎたり、マスク画像が存在しない場合、ノードはエラーを報告するか、結果を出力しないという動作をします。

マテリアルが生成されると、ArtEngine の能力をフル活用できます。処理を行った Chrome Ball をマテリアルから取り除くだけで、タイル状にしたり、バリエーションを追加したり、ブレンドを調整したりすることができます。

処理を行った Chrome Ball を取り除く最も便利な方法は、クロップすることです（マテリアルをクロップして正方形にする）。

クロップせずに手動で削除するには、まず Clone Stamp を使って、アルベドマップから削除します。その後、ノードを実行すると、法線マップから自動的に削除されます。

また、ArtEngine の AI 機能である Mutation や Seam Removal ノードを利用して、ボールのある部分を新しい画像データに置き換えることもできます。

なお、画像は正方形である必要はありませんが、マスクを含めたすべての画像の寸法が同一である必要があります。

この記事をお楽しみいただけたら幸いです。また、ArtEngine の Chrome Ball を使ったフォトメトリックステレオ法で作成された素晴らしいマテリアルにお目にかかることも楽しみにしています。

私たちの Discord チャンネルで開かれている、コミュニティでのディスカッションや Q&A にもぜひご参加ください。この技術に磨きをかけるためのご提案もお待ちしています。

まだ ArtEngine をお持ちでない方は、こちらのページからライセンスを入手してください。