最近、ChatGPTをはじめとする「ジェネレーティブAI」が話題になっています。日本語で指示を出すだけで文章や画像、プログラムなどをAIが次々に生成していくさまに、多くの人が驚いています。

ジェネレーティブAIは、写真の世界も無縁ではありません。複数の視点から撮影した画像をもとに、AIが3Dの世界を生成する「NeRF」（ナーフ）という技術があります。2022年3月には、GeForceシリーズでおなじみのNVIDIAがNeRFを手軽＆高速に実行する「Instant NeRF」（インスタントナーフ）を技術カンファレンス「GTC 2022」で発表し、多くの人が利用できるようになりました。

  • NVIDIAの「Instant NeRF」で複数の画像から3Dを生成しているところ。撮影していないアングルからの視点も、AIが分析してそれらしく生成してくれる

写真の常識を変えそうなInstant NeRFですが、間もなく開かれる「GTC 2023」で大きな進化を遂げる可能性があります。その前に、Instant NeRFの実力を試してみました。

複数枚の画像の情報をもとに、AIが3D空間を生成する

Instant NeRFをとてもシンプルに解説すると、複数の視点から撮影した2Dの写真をもとに、AI（機械学習）による分析や処理を加えることで、3Dの世界を生成する技術です。特筆すべき点が、撮影していないアングルの情報も機械学習の力で生成できることにあります。

試しに、iPhoneで撮影した数十枚の写真をもとに、Instant NeRFで動画を生成してみました。撮影できていないはずのアングルも含め、まるでドローンを飛ばしたかのように新たな視点の動画があとから自在に生成できたことが分かります。撮影していないアングルは霞がかったボンヤリとした表現になるものの、動画になるとかなり自然な印象で描写されるのに驚きます。

  • 広場にあったオブジェをiPhoneで撮影した写真。オブジェの周囲を歩きながらザックリと撮影したものだ

【動画】上の写真をもとに、Instant NeRFで生成した動画。背景となる建物もしっかり描写されているのが分かる。水面もちゃんと表現している。情報がない部分にはもやのようなノイズが出たり、ボンヤリとした粗い表現になるのがInstant NeRFの特徴

ざっくりとした作業の流れは、まず素材となる写真を用意し、Instant NeRFのプログラムに読み込ませます。さらに、機械学習による処理を加えていくことで、撮影できてない領域を生成したり、被写体や風景をより鮮明に仕上げていきます。ある程度処理が済んだ段階で、どのようなアングルで見せるのかを指示していくことで、ドローンを飛ばしたような動画が生成できる仕組みです。

【動画】手水舎を撮影したところ。柱越しに撮影したシーンがあったので、遠近感が効果的に得られた。かなり奥の方まで描写しているのには驚かされた

【動画】おいしそうなアジフライ定食を撮影。座席に座っている関係で撮影できるアングルが限られていたこともあり、情報量不足が顕著に動画に現れた

【動画】長野県岡谷市で見つけた「ラムラム王」のオブジェを撮影。オブジェの真上は手が届かなかったので撮影できていなかったが、AIがうまく推測して表現してくれた

最上級ゲーミングPC並みの性能と、相応のPCのスキルが必要

Instant NeRFがやっかいなのが、機械学習のために高性能なグラフィックスカードが欠かせないこと。Tensorコアを搭載したGeForce RTXシリーズが必要になり、試そうと思うと最上級ゲーミングPCを購入するぐらいの予算が必要になります。もちろん、GeForceを搭載していないWindowsパソコンやMacでは実行できません。

今回は、日本HPのクリエイター向けデスクトップ「HP ENVY TE02」を借りて試しました。Core i9とGeForce RTX 3080 Tiを搭載した満艦飾的な仕様だったので40万円近くしてしまいますが、CPUやグラフィックスカードのランクを落とせば20万円台で落ち着きそうです。ただ、グラフィックスチップの性能が機械学習の処理速度を大きく左右するようなので、グラフィックスカードはできるだけ高性能のものを選んでおいた方がよさそうです。

  • Instant NeRFの試用に用いた日本HPのクリエイター向けデスクトップ「HP ENVY TE02」（左）。同社のゲーミングPC「OMEN 25L」と同等の性能を詰め込める実力派モデルだ。高性能ながらケースが光らないのもポイント

  • GeForce RTX 3080 Tiが鎮座する。Instant NeRFの処理はGPU性能がモノを言うので、できるだけ高性能のグラフィックスカードを用意したい

  • Instant NeRFの処理中にCPUやGPUの使用率を確認すると、CPUの使用率は10％未満なのに対し、GPUはほぼ100％に張り付いていた。GPU性能がいかに重要なのかが分かる

さらに、Instant NeRFはプログラムの導入や実行が難しいことも挙げられます。一般的なWindowsソフトのようにインストーラーが用意されていたり、マウスで簡単に操作できる仕組みにはなっておらず、コマンドをあれこれ入力する必要があります。

  • プログラムの構築や画像データの分析などの作業のほとんどは、コマンドの入力で実行する

  • もし途中でエラーが出て処理が止まった場合、エラーメッセージを探し出して自分で原因を分析しないといけないのがムズかしい

大幅に使いやすくなったInstant NeRFが登場するか？

このように、現時点ではPC環境が整っていて専門知識のある人でないと扱えないInstant NeRFですが、近いうちにグッと身近な存在になる可能性も秘めています。

Instant NeRFが発表されたのは、2022年3月に開かれたNVIDIAの技術カンファレンス「GTC 2022」の基調講演です。実は、今年の「GTC 2023」の開幕が3月21日に迫っていて、基調講演は3月22日の午前0時（日本時間）に開かれます。基調講演ではジェネレーティブAIの説明に多くの時間が割かれるようで、この場でInstant NeRFのアップデートが発表される可能性があります。AIが写真の世界も劇的に変えるか、注目したいと思います。