SFな世界がすぐそこに。
アイドルの瞳に映った景色から住所を割り出したというとんでもないニュースがありましたが、その先を行く研究があります。アメリカはメリーランド大学が研究しているのは、瞳に映ったモノを3D再現する技術。
NeRF技術活用も、試練の連続
研究室が活用しているのは、NeRF (Neural Radiance Field）技術。これは、さまざまな角度から撮影した複数の2D画像から3Dシーンを作るというもの。人間の目の角膜の形状は（健康な成人であれば）誰でもほぼ同じであることから、メリーランド大学研究室は瞳の反射画像でも3D生成できると判断。
3Dモデル生成に2D画像が必要ですが、NeRFで使用される2D画像は解像度が高いのが当たり前（近年のスマホのカメラで撮影した程度でOK）でした。ただ、今回の実験では、画像の一部（瞳の反射）のみが必要なため画質が低下する＆目の虹彩（人によってその色味も異なる）もあるのでクリアな画像が取り出しにくいという壁が発生…。
画像を使える状態までクリアにするには、かなりの編集作業が必要だったそうです。さらに、通常さまざまな角度から撮影した画像を使うのに対し、瞳ver.ではほぼ同角度からの画像しかありません。チャレンジの連続とはなったものの、なんとか完成にこぎつけました。
まだこの程度
生成された3Dモデルから、瞳に映ったものが何かを判別することはできます（カービーと犬のぬいぐるみ）。が、解像度は低く、ディティールもあまりないのが現状。それも、研究用に理想的な照明で高画質撮影したシンプルなシーンでこれ。研究室の自前素材ではなく、比較的理想的な映像としてマイリー・サイラスの｢Wrecking Ball｣のミュージックビデオ（ソースはYouTube）で3Dモデル生成化を実施したところ、こちらは物体の判別は不可能でした。ボヤっとしていて、マイリーが見ていたものはわかりません。
つまり、セキュリティカメラの映像に映った被害者の瞳の反射から犯人を割り出して…なんて、SF科学系クライムサスペンスドラマのようにはいかなかったということです。今はまだ、ね。
