中国の清華大学の研究者らが、ナノ秒単位で1000億画素の画像を処理、伝送、再構築することが可能な新しいインテリジェントフォトニックセンシングコンピューティングチップを開発した。この超高速画像処理は、自動運転、ロボットビジョンと言ったマシンビジョンの進歩に大きく貢献する可能性をもたらすだろう。
エッジインテリジェンスの更なる進化を促す
マシンビジョンは、カメラ、センサー、アルゴリズムが連携して周囲の世界を理解し、特定のタスクを実行する分野である。これまでの技術は、データを長距離にわたって移動させ、その場で分析し、適切な反応を実行することに依存していた。
「世界はAIの時代に突入していますが、AIは非常に時間とエネルギーを消費します」と、清華大学電子工学部の准教授であるLu Fangは氏は述べている。急速に進行する世界では、マシンビジョンはエッジコンピューティングと呼ばれるデバイス上でデータが処理されることを求めており、これにより迅速な意思決定が可能になる。そして画像処理や解析などの集中的な計算作業をローカルデバイスで行うエッジコンピューティングは、人工知能（AI）駆動の解析と意思決定を加えることでエッジインテリジェンスに進化している。
「スマートフォン、自動車事故車、ラップトップなどのエッジデバイスの増加により、処理、伝送、表示される画像データの爆発的な増加が見られます。我々は、光学領域でのセンシングとコンピューティングを統合することによって、マシンビジョンを進歩させるために取り組んでいます」とFang氏は述べている。
このチップは、光学並列計算アレイ（OPCA）チップと呼ばれており、処理帯域幅は最大で1000億画素、応答時間はわずか6ナノ秒で、現在最速の物方法よりも約6桁も速い。Fang氏らはこのチップを使用して、画像認識、計算、再構築を統合した光学ニューラルネットワークを作成した。
「私たちの新しいチップは、これらのプロセスをすべて光の領域に保持することで、ナノ秒単位で実行できるのです。これにより、従来のセンサー取得後のAI後処理のアーキテクチャを大幅に強化するか、さらには置き換えることができるかもしれません」と、Fang氏は説明する。
光電変換の廃止
マシンビジョンは、伝統的には光学情報をセンサーを使用してデジタル電気信号に変換する（光電変換）。この信号は、その後、長距離データ伝送および下流タスクのために光ファイバーを介して送信される。しかし、光と電気の信号の間の頻繁な変換と電子プロセッサの進歩の制限は、マシンビジョンの速度と処理能力の向上に対する大きな制約となっている。
「自動運転のようなエッジベースのタスクのために画像をキャプチャ、処理、分析することは、現在、光電変換の必要性のためにミリ秒レベルの速度に制限されているのです」と、Fangは述べた。
とは言え、これまでコンピュータがデータを理解するためには、キャプチャしたデータを光学情報から電子的なバージョンに変換する必要があった。
Fang氏らはこれを根本的に解決するために、センシングと計算を光の領域で統合することを目指したのだ。
光の領域で同じチップ上で画像の取得と解析の両方を実行するという課題は、イメージングに使用される自由空間の空間光をオンチップガイド光波に変換する方法を見つけることである。研究者たちは、自由空間の光強度画像（シーンの光強度の2次元表現）をコヒーレント光信号に変換し、チップ上でガイドできる専用設計のリング共振器のセンシングコンピューティングアレイで構成されたチップを設計することでこれを達成した。マイクロレンズアレイは、シーンをOPCAチップに焦点を合わせることでこのプロセスを強化する。
全光ニューラルネットワーク データが光信号として処理されるため、研究者たちはそれを使用して全光ニューラルネットワークを開発し、エッジで通常行われる分類タスクに展開した。
「このチップの各センシングコンピューティング要素は再構成可能なので、入力と重み付けに基づいて光変調出力を生成するプログラム可能なニューロンとして動作できます。ニューラルネットワークは、すべてのセンシングコンピューティングニューロンを単一の導波路で接続し、入力情報と出力の間の全光フル接続を促進します」と、Fang氏は述べている
研究チームは、このチップを手描き画像の分類や画像畳み込みなどのタスクに展開し、チップの動作を実証した。結果は、チップアーキテクチャが情報圧縮とシーン再構築を効果的に完了できることを示しており、広範なアプリケーションの可能性を示している。
これらのタスクの成功は、チップアーキテクチャがそのようなタスクを処理する能力を持っていることを示している。将来的には、研究チームはOPCAチップの全体的なサイズを拡大し、ニューラルネットワークの処理能力を向上させ、商業利用に近づけることを目指している。
「私たちは、センシングとコンピューティングの両方を光で実行することにより、機械ビジョンがより高速でエネルギー効率が高くなることを望んでいます。今日のアプローチが完全に置き換えられることはないでしょうが、センシングコンピューティングの方法がエッジコンピューティングでそのニッチを見つけ、幅広い有望なアプリケーションを推進することを期待しています」と、Fang氏は述べている。
論文
- Optica: Parallel photonic chip for nanosecond end-to-end image processing, transmission, and reconstruction
参考文献
研究の要旨
画像処理、伝送、再構成は、情報技術において大きな割合を占める。ユビキタスエッジデバイスとデータセンターの急速な拡大により、画像処理、伝送、再構成の帯域幅と効率に対する大幅な要求が高まっている。光と電気領域間のシリアル信号の頻繁な変換は、電子プロセッサが徐々に飽和していることと相まって、エンドツーエンドのマシンビジョンのボトルネックとなっている。ここでは、光強度画像のエンドツーエンドの処理、伝送、再構成のための光並列計算アレイチップ（OPCAチップ）を紹介する。広帯域共振光チャネル上で構成的・破壊的計算モードを提案することにより、エンド・ツー・エンドの光ニューラルネットワーク計算を実現する並列計算モデルを構築した。OPCAチップは、6ナノ秒の応答時間と少なくとも160ナノメートルの光帯域幅を特徴とする。光-電子変換やアナログ-デジタル変換を頻繁に行う必要性から解放され、最小限のエネルギー消費と待ち時間で光画像処理を効率的に実行できる。提案された光計算センサーは、ナノ秒の応答時間とテラヘルツ帯域幅を持つ可視コンテンツの超高速処理、伝送、再構成への扉を開くものである。
コメント