ソニー、イメージセンサーとAIを合体させてしまう

デジカメに下りてきてもいいんじゃって気が。

ソニーが世界初のAI処理機能を搭載したイメージセンサー「インテリジェントビジョンセンサー」を商品化したと発表しました。動画では「もはや目の前の光を捉えるだけのセンサーではありません。目の前の光から必要な意味、情報を捉えるセンサーなのです」とか言ってますね（かっこいい言い回し！）。小売業や産業機器業界向けのセンサーではあるのですが、技術的におもしろいなーと思ったので紹介してみます。

画素チップの下にロジックチップがある積層構造

有効画素数は約1230万、センサーサイズは1/2.3インチ。価格はベアチップ版が1万円、パッケージ版が2万円（ともに税抜）Image: Sony

インテリジェントビジョンセンサーは画素チップとロジックチップの二層構造になっています。画素チップの仕事は、捉えた光を信号化すること。信号はロジックチップに回され、イメージ処理・画像処理が行なわれます。ここまでは通常のイメージセンサー同様。異なるのはその先、イメージ処理のあとAI処理がそのまま始まります。

とにかくAI処理が高速なのが特徴なんだそうで。通常のイメージセンサーで撮影した動画をAI処理にかける場合は、1フレームごとにAI処理用の外部プロセッサ等に転送を行なう必要があってリアルタイム性を確保するのが難しいそうですが、インテリジェントビジョンセンサーでは、画像処理＋AI処理が1フレームごとに完結。動画を撮影しながら対象物を高精度でリアルタイムトラッキングできるとのこと。

インテリジェントビジョンセンサーでちがってくるのが出力できるデータ。アウトプットが画像＋AIが絡んだデータの2種類になります。

ロジックチップ内にはAIモデルを保持するメモリがあり、ユーザーはここに好きなAIを書き込めます。画像に写っている被写体を認識したメタデータや、画像の特定領域のみを切り出した画像なんかが出力可能です。欲しいデータに応じたAIを入れればよし、と。

用途として想定されているのは、店舗のカメラ。お店での利用者数カウントや購入された商品の把握・分析などを高速・高精度に行なうのにどうでしょうと。

スペックシートを見ると、4K 30fpsで撮りながら、メタデータも30fpsで吐き出せちゃうらしいです。…お店にあるカメラがα9 IIのリアルタイム瞳AFみたいな精度で見てくるってことですよね…ヤバくないですか。

AI≠クラウド。デバイス側で行なうエッジAI処理へのニーズ

インテリジェントビジョンセンサーが生まれた背景には、AI処理をクラウドではなく、デバイス側で行いたいというニーズがあるそうです。デバイス側で行なうAI処理は「エッジAI」と呼ばれています。

2020-05-17 21:19:11