PRINCEソフトウェアは、衛星写真や航空写真からフォトリアリスティックな3Dレンダリングの作成を可能にする
多くの人にとって、どこかへ向かうときの場所の下見といえば、地図アプリの「ストリートビュー」オプションを考えるのではないでしょうか。画面上で視点を回転させることができ、また、地上目線レベルでその付近がどのような様子なのかを見ることができます。しかし、災害発生時や遠隔地で任務にあたる人道支援活動や軍、警察の関係者たちが向かう場所に関する画像は非常に限られていることが多く、準備に役立つであろうストリートビューのような3次元のウォークスルー画像もありません。
SRIのCenter for Vision Technologies (CVT)の研究者や共同研究者は、限られた画像しかないような環境でも、フォトリアリスティックな（写真のような現実感のある）3Dレンダリングを迅速に構築できるソフトウェアを設計しています。PRINCE（Photorealistic Rendering from Neural Column Embeddings：ニューラルカラムの埋め込みによるフォトリアリスティックなレンダリング）と呼ばれるこのシステムでは、救急隊員や人道支援活動、軍、法執行機関の関係者たちが実際にその場所に足を踏み入れる前に、任務にあたる現場の詳細について熟知することが可能になります。
「ハワイでの火災のような災害が発生した時に、正確な3Dモデルを迅速に構築することができれば、人道支援活動や軍の関係者たちは対応策を練ることができます。このモデルを使って任務のリハーサルをすることで、チームのリスクを低減できるのです。」とSRIの情報・コンピュータサイエンス部門のバイスプレジデントでCVTのディレクターであるRakesh “Teddy” Kumarは述べています。
このプロジェクトはIARPA（インテリジェンス高等研究計画活動）によって創設された「Walk-though Rendering Images of Varying Altitudes（高度が変化する画像のウォークスルー・レンダリング）」プログラムの一環であり、SRIの研究者や共同研究者が今後1年半かけて使用する画像の量を徐々に減らしながら、3つの異なるシナリオに応じたソフトウェアの構築、改良、テストを実施します。この第一段階の目標は、面積200平方メートル分の高品質レンダリングを12時間以内で作成できるようにすることです。
KumarとCVTのVision and RoboticsラボのシニアテクニカルディレクターであるSupun Samarasekeraが率いるSRIのチームには、MITのVincent Sitzmann、オハイオ州立大学のRongjun Qin、南カリフォルニア大学のYajie Zhao、カリフォルニア大学アーバイン校のStephan Mandtが加わっています。
数十年にわたって蓄積されたSRIの3Dモデリングや画像アライメント、没入型ビジュアライゼーションの専門知識に加え、このチームメンバーはニューラル・シーン・モデリング、衛星画像解析、リライティングモデルを活用した合成3Dフォトリアリスティック環境の構築、不確実性推論と視覚画像の強調など、重要な分野における知識と世界最先端の専門知識をもたらします。
「私たちは、この問題を解決するために理想的な専門家から成るチームを結成しました。」とSamarasekeraは述べています。
研究者たちは、最近の機械学習の進歩を活用して衛星画像やドローンからの映像、地上写真などさまざまなソースからの画像を1つの3次元レンダリングにとりまとめて構築します。PRINCEプログラムはこれらの画像がどこから、どの角度で撮影されたかを特定し、利用可能なすべてのデータを1つのレンダリングに組み込み、そこにあるべきものを推測することによって、画像間のギャップを埋めることができるようにします。
「これらの画像をすべて取り込んで、現場のニューラルネットワーク・モデルを構築します。そして、できる限り正確なモデルにするために、トレーニング、テスト、調整を続けるのです。」とKumarは述べています。
結果が常に完璧であるとは限りませんし、利用可能な画像が数枚しかない場合などは特にそうです。しかし、完璧にすることが目標ではありません。不慣れな場所や最近何らかの変化のあった場所で任務を行う場合、何らかの追加情報があるとないでは大きく状況が変わる可能性があります。研究者たちは、PRINCEの3Dレンダリングが人道支援活動や軍、法執行機関の関係者たちの任務が成功する可能性を高め、関係者全員の安全を守るために必要な追加データと準備に必要な情報を提供できるのではないかと信じています。
