今回開発したAI技術の特徴
東芝は、ズームレンズによるズームアップや、オートフォーカスで撮影した数枚の単眼カメラの画像データから、実スケールの3次元計測ができる世界初のAI技術を開発した。
これまでは単眼カメラで撮影した画像では、奥行き情報は相対値しか得られないため、高さや長さ、面積といった絶対値を得るためには、ジャイロセンサーによる情報や、サイズに関する基礎情報を加える必要があった。だが、今回開発したAI技術を活用することで、単眼カメラの多視点画像から求めた相対的な奥行き情報に加えて、撮影画像に含まれるボケ情報を組み合わせることで、絶対値を計測することができるようになる。
同社の実験では、市販の一眼レフカメラと焦点距離24～70mmのズームレンズとの組み合わせで、4～5枚の写真を、10度～20度程度のずらしながら撮影。AIを活用することで物体やひび割れのサイズを高精度に計測できた。
今後、スマートフォンや産業用カメラ、ドローンなどのさまざまなレンズやカメラでの実証を行い、早期の実用化を目指す。
今回のAI技術を開発した東芝 研究開発センター 知能化システム研究所メディアAIラボラトリーの三島直フェローは、「実際のサイズを計測する方法は、巻き尺やクラックスケールを使って人手で計測する方法以外にも、スマホの計測アプリを使用したり、AIを活用して計測できるもの、複数のカメラを利用して計測するものがあったが、それぞれに制限や弱点があった。
東芝 研究開発センター 知能化システム研究所メディアAIラボラトリーの三島直フェロー
たとえば、単眼SfM (structure from motion)を利用したものでは、視点位置の異なる撮影画像の見えの違いをもとに、3次元形状を復元。そこに、ジャイロセンサーを組み合わせることでサイズ計測が可能だが、デバイスのサイズ的な制約もあり、どうしても近距離での計測が中心となる。
また、レンズ収差を利用したAIでは、1枚の撮影画像から奥行きを取得できるが、レンズを固定して、一定の距離をもとに事前学習する必要がある。3mの距離で学習していた場合に、もっと近くのものを撮影したいといってもすぐに利用ができない。レンズを動かした時は、再学習が必要になる」と指摘。
「今回のAI技術は、カメラだけあれば、遠い位置から、簡便に高所などの変状を計測できるだけでなく、2点間や平面に縛られること無く、任意形状の変状に適用が可能になる。また、現地では撮影するだけで良く、現場作業を簡易化できるというメリットがある。学習された距離以外にも対応が可能であるため、距離が大きく変化する屋外点検や、ドローンでの活用も期待ができる」と述べた。
従来技術は、撮影距離が大きく変化しない場合や、近距離での屋内利用などにはいいが、今回の技術は、そうした用途に加えて、撮影するたびに、撮影距離が大きく変化する屋外のインフラ点検も視野に入れた活用が可能になるという。
また、同じカメラではなく、異なるカメラで撮影した画像データも組み合わせて利用できることから、複数のドローンで撮影した画像を利用したサイズ計測も可能だという。
同社では、この技術を用いて、ひび割れ計測に適用した結果、7 m先のひび割れのサイズを高精度に計測できたという。
開発した技術の位置づけ
ベンチマーク結果
技術の概要
開発のポイント
「スマホの計測アプリでは、1.5mの近距離ではそれほど誤差がなかったが、7mの遠距離では、誤差が大きくて、使えない水準だった。だが、今回の技術では、7mの遠距離でも10%の誤差範囲であり、インフラ点検などのケースでも実用に耐えられる水準であった」とした。
また、屋外において、11カ所で5～7m先の対象物を撮影。それらのサイズを計測したところ、レンズを固定した理想条件においてはサイズ誤差が2.5%であり、ズームレンズを使った難しい条件でも、サイズ誤差は3.8%に抑えることができたという。
サイズ誤差は2.5%、ズームレンズでも3.8%
接写では高精度検出も可能
高所点検の例
この誤差は、公益社団法人日本コンクリート工学会が定めるコンクリートのひび割れ補修指針に基づいた数値シミュレーションにおいて、補修の必要性を高精度に判別できる水準にあることを確認したという。
東芝では、こうした検証結果から、この技術を活用することで、インフラ点検などの用途に展開できるとしており、「高所や斜面といった危険な場所でも、近づくことなく、離れた場所から撮影した数枚の写真を使用するだけで、補修対象部分のサイズを簡単に計測することが可能になる」という。
計測困難な高所壁面のひびの計測や、高所のサビ面積の計測も可能になるとしている。
東芝では、これまでにもロボット統合管理・点検画像分析技術を開発しており、今回の開発技術によって、サイズ計測を強化でき、点検計画の立案やロボットの効率運用などに貢献できると述べている。
ドローンでの活用なども期待
さまざまなカメラやレンズで検証し、保守点検現場で活用できるアプリやシステムを開発
東芝 研究開発センター 知能化システム研究所メディアAIラボラトリーの三島直フェローは、「国内では、高度成長期に整備された道路や橋、トンネルなどの設備の平均年齢が35年を超え、老朽化が急速に進む一方、作業員の高齢化や人手不足、コスト削減といった課題を抱えている。また、現状では、インフラ点検の多くは目視であり、作業が煩雑化しているだけでなく、目視では状況が把握しにくい高所の点検が課題となっている。
実際、橋梁やトンネルの高所では機材や台車を搬入して、目視で劣化状況を確認している」とインフラ点検における課題を指摘。「効率的なインフラ保全が求められるなかで、優先度をつけて保全作業を行うためには、劣化具合を判定することが重要であり、その際には、補修箇所のサイズ計測が大きなポイントになる。高い精度で変状のサイズ計測ができることで、効率的な保全計画の策定に貢献できる」としている。
東芝 研究開発センター 知能化システム研究所メディアAIラボラトリーの小坂谷達夫室長
また、東芝 研究開発センター 知能化システム研究所メディアAIラボラトリーの小坂谷達夫室長は、「ひび割れのサイズを、クラックスケールで測るという現場作業はかなり大変であり、慣れも必要である。AI技術を活用することで、熟練者でも、初心者でもばらつきがない測定が可能になる。撮影すればいいという簡単なリテラシーで利用できるのも大きくメリットだ。また、クラックスケールで計測する際には、エビデンスとして必ず写真を撮影しておくことになっている。もし、現場で測り忘れた場合にも、撮影しておいた写真を使って計測ができる」などと述べた。
同社では、この技術を活用して、保守点検アプリケーションシステムの開発などにもつなげる考えを示した。また、現時点では、デジタルカメラのCPUでは、AI処理が難しいため、撮影したデータを事務所などに持ち帰り、クラウドやPCを利用して処理することになるが、将来的には、スマホのプロセッサなどを活用して処理することも視野に入れている。
なお、同技術は、11月22日にオンラインで開催されるコンピュータビジョンに関する国際会議「The British Machine Vision Conference 2021 (BMVC 2021)」で発表される。
コメント