国産光チップの大躍進！清華大学のチームはニューラル ネットワークを使用して、初のフルフォワード インテリジェント オプティカル コンピューティング トレーニング アーキテクチャを作成

2012 年以来、人工知能モデルのトレーニングに必要なコンピューティング能力は 3 ～ 4 か月ごとに 2 倍になり、人工知能のトレーニング モデルに必要なコンピューティング能力は毎年 10 倍も増加しています。これは次のような課題をもたらします。AI をより高速かつ効率的にするにはどうすればよいでしょうか?答えは光の世界にあるかもしれません。

光コンピューティング、光の速度と特性を利用して機械学習アプリケーションを新たなレベルの速度とエネルギー効率に引き上げることを提唱する可能性に満ちた分野です。ただし、この目標を達成するには、これらの光学モデルを効果的にトレーニングする方法という難しい問題を解決する必要があります。以前は、光学システムのシミュレーションとトレーニングにデジタル コンピューターを利用していましたが、光学システムに必要な精密なモデルと大量のトレーニング データによって限界があり、光学システムの機能が大幅に制限されました。さらに、システムの複雑さが増すにつれて、これらのモデルの確立と保守はますます困難になります。

最近、清華大学の戴瓊海院士と方陸教授の研究チームは、光子の伝播の対称性に着目し、ニューラルネットワークトレーニングにおける順方向伝播と逆方向伝播の両方を光の前方伝播と同一視し、包括的な順方向モード（FFM、完全順方向）を開発しました。モード）学習方法。FFM 学習を通じて、研究者は数百万のパラメーターを使用してディープ オプティカル ニューラル ネットワーク (ONN) をトレーニングできるだけでなく、超高感度の知覚と効率的な全光学処理を実現し、それによって光学システム モデリングにおける AI の制限を緩和することができます。

「光ニューラル ネットワークの完全順モード トレーニング」と題されたこの研究は、トップジャーナル Nature に無事掲載されました。

研究のハイライト:

* 現場での効率的な並列機械学習操作を可能にし、数値モデリングの制限を軽減します

* 特定のネットワーク サイズに対して最先端のパフォーマンスを備えた光学システムを導入することで、FFM 学習により、数百万のパラメーターを使用して最も深い光ニューラル ネットワークをトレーニングすると、理想的なモデルに匹敵する精度を達成できることもわかりました。

* FFM 学習は、学習プロセスを数桁高速化するだけでなく、深層学習ニューラル ネットワーク、超高感度センシング、トポロジカル フォトニクスの開発も促進します。

用紙のアドレス:

https://doi.org/10.1038/s41586-024-07687-4

オープンソース プロジェクト「awesome-ai4s」は、100 を超える AI4S 論文の解釈をまとめ、大規模なデータ セットとツールを提供します。

https://github.com/hyperai/awesome-ai4s

7 多層分類実験で位相がゼロに設定された入力複素フィールドを作成するための大規模なデータセットの集約

この研究では、合計 7 つのデータ セットが使用され、各サンプルは位相が 0 に設定された入力複素フィールドを作成しました。

*MNIST データセット。このデータ セットは、10 のカテゴリの手書き数字のコレクションであり、60,000 個のトレーニング サンプルと 10,000 個のテスト サンプルで構成されています。

*ファッション-MNIST データセット。このデータ セットには 10 の異なるカテゴリのファッション製品が含まれており、60,000 サンプルのトレーニング セットと 10,000 サンプルのテスト セットでも構成されています。

*CIFAR-10 データセット。このデータセットは、50,000 枚のトレーニング画像と 10,000 枚のテスト画像を含む 8,000 万枚の小さな画像データセットのサブセットです。

* ImageNet データセット。データセットは WordNet 階層で構成される画像データベースで、各ノードは数百または数千の画像で表され、合計でトレーニング用に 1 億 2,000 万枚の画像、テスト用に 50,000 枚の画像が含まれます。

* MWD データセット。このデータセットには、4 つの異なる屋外シーン (日の出、晴れ、雨、曇り) の気象条件の画像が含まれています。合計 1,125 個のサンプルが含まれており、そのうち 800 個がトレーニングに使用され、325 個がテストに使用されます。

* アヤメのデータセット。データセットは 3 つのアイリス種で構成され、各種につき 50 のサンプルがあります。データセット内の各元のサンプルには、アヤメの花の形状を記述する 4 つのエントリが含まれています。 PIC 実験では、各エントリが複製されて 4 つの同一のデータ ポイントが作成され、合計 16 チャンネルの入力データが作成されました。

* クロムターゲットデータセット。データセットは、さまざまな領域 (反射領域と半透明領域) を持つガラス クロム プレートで構成されています。反射領域は物理的なシーンそのもの (文字ターゲット T、H、U) を表します。トレーニング中に 1 つの反射領域が使用され、同じ平面内で移動して 9 つの異なるトレーニング シーンが生成されます。

光学システムは微分可能な組み込みフォトニック ニューラル ネットワーク FFM を構築するために再パラメータ化されます。

従来、光学関連の人工知能は、以下の図 a に示すように、オフライン モデリングと最適化を通じて設計されており、その結果、設計効率とシステム パフォーマンスが制限されます。それだけではなく、一般的な光学系はさまざまな機能を実現するために、屈折率による可変性を利用します。光学システムは、変調領域 (濃い緑色) と伝播領域 (薄い緑色) の 2 つの異なる領域に分割されます。以下の図 b に示すように。

この研究では、マクスウェル方程式によって制御される光学システムを微分可能な組み込みフォトニック ニューラル ネットワークに再パラメータ化できることがわかり、ニューラル ネットワークの勾配降下トレーニングがその開発を促進する重要な要素となっていることがわかりました。したがって、この研究における FFM の機械学習原理を以下の図 c に示します。光学システムの一部の領域をニューラル ネットワークにマッピングしてニューロンに接続できるため、入力と出力の間に微分可能なオンサイト ニューラル ネットワークを構築できます。

次に、研究では空間対称相反性、データと誤差の計算を使用して順方向の物理伝播と測定値を共有し、オンサイトの勾配を計算して設計領域 (図 c の右上と左下の領域) の屈折率を更新します。オンサイト勾配降下により、光学システムは徐々に収束します (図 c の右下の領域)。

理想モデルと同等の精度を実現する FFM 学習を使用して、物体分類用の単層光学ニューラル ネットワークをトレーニングします。

FFM 学習の有効性を実証するために、この研究ではまずベンチマーク データセットを使用して物体分類用の単層光ニューラル ネットワークをトレーニングし、次に、以下の図 a で FFM 学習を使用した深い自由空間での光ニューラル ネットワークの自己トレーニングを実証しました。プロセスと、MNIST データセットでのトレーニング結果を以下の図 b に視覚化します。

以下の図 c に示すように、実験的ライトフィールドと理論的ライトフィールド間の構造類似性指数 (SSIM) は 0.97 を超え、これは、高いレベルの類似性を示しています。以下の図 d では、この研究では、Fashion-MNIST データ セットの分類における多層光ニューラル ネットワークの使用をさらに分析しています。この研究では、FFM 学習を使用して、層の数を 2 層から 8 層まで徐々に増やすことにより、ニューラル ネットワークのパフォーマンスは、86.5%、91.0%、92.3%、92.5% まで向上でき、理論上のコンピューター シミュレーション精度に近くなります。

上記の結果に基づいて、この研究では、以下の図 f に示すように、非線形 FFM 学習をさらに提案します。データ伝播中、出力は次の層に入る前に非線形的にアクティブ化されるため、非線形的にアクティブ化された入力を記録し、関連する勾配を計算できます。順方向伝播のみが必要なため、提案された FFM の非線形トレーニング パラダイムは、一般に測定可能な非線形関数に適しており、したがってオプトエレクトロニクスおよび全光非線形光ニューラル ネットワークに適しています。それだけではなく、非線形光学ニューラル ネットワークの分類精度は 90.4% から 93.0% に向上しました。以下の図 g に示すように。

FFM 学習により、複雑なフォトニック システムの設計が簡素化され、全光学シーンの再構築と動的な隠れたオブジェクトの分析が可能になります。

研究では次のことも判明しましたFFM 学習は、オフライン数値モデリングによって課せられる制限を克服し、複雑なフォトニック システムの設計を簡素化します。たとえば、この研究では、以下の図 a および b にポイント スキャン散乱イメージング システムと、さまざまな高度な最適化手法を分析するための粒子群最適化 (PSO) の使用を示します。結果は、勾配ベースの FFM 学習がより高い効率を示し、2 つの実験で 25 回の設計反復後に収束し、2 つの散乱タイプでそれぞれ 1.84 と 2.07 の収束損失値を示したことがわかります。比較すると、PSO 手法では収束するまでに少なくとも 400 回の設計反復が必要で、最終的な損失値は 2.01 および 2.15 です。

以下の図 c に示すように、この研究では FFM 自己設計の進化を分析し、最初はランダムに分布していた強度プロファイルが徐々に緊密な点に収束することを示しました。以下の図 d では、焦点を最適化するために FFM と PSO を使用して、半値全幅 (FWHM) とピーク信号対雑音比 (PSNR) のメトリクスをさらに比較しています。 FFM の場合、平均 FWHM は 81.2 ミクロン、平均 PSNR は 8.46 dB です。

研究では次のことも判明しましたIn situ FFM 学習は、特に正確なモデリングが不可能な状況において、型破りな画像モダリティを設計するための貴重なツールを提供します。見通し外ミッション (NLOS) などのシナリオ。以下の図 a に示すように、FFM 学習により、全光学シーンの再構成と動的隠れオブジェクトの分析が実現されます。下の図 b は NLOS イメージングを示しています。 FFM 設計の波面は 3 文字すべての形状を復元し、各ターゲットの構造類似性指数 1.0 を達成しました。

ダイナミック イメージング機能に加えて、FFM 学習方法により、NLOS 領域内の隠れたオブジェクトの完全な光学的分類も可能になります。この研究では、FFM と人工ニューラル ネットワーク (ANN) の分類パフォーマンスを比較しました。結果は以下の図 c に示されています。十分なフォトンがあれば、FFM と ANN は同様のパフォーマンスを発揮しますが、FFM は正確な分類に必要なフォトンの数が少なくなります。

FFM 学習は統合フォトニック システムの自己設計までスケールし、シミュレーションは収束するまでに約 100 サイクルを必要とします

この研究では、FFM 学習方法が統合フォトニック システムの自己設計に拡張できることがわかりました。以下の図aに示すように、この研究では、FFM学習を実装するために、対称的な光子原子核を直列および並列に接続して構成された統合ニューラルネットワークを使用します。結果は、行列の対称性により、エラー伝播行列とデータ伝播行列の等価性が考慮されることを示しています。

下の図 e は、ニューラル ネットワーク全体のエラーを視覚化したものです。結果は、80 回目の反復で、FFM 学習では、コンピューター シミュレーション トレーニングよりも低い勾配誤差が示されます。

設計精度の進化では、以下の図 f に示すように、理想的なシミュレーションと FFM 実験はどちらも収束するまでに約 100 サイクルを必要としますが、FFM 法の精度が最も優れています。

インテリジェント光コンピューティング産業チェーンは徐々に成熟しており、新たな時代の中心となる可能性があります。

この論文の研究結果に基づいて、研究チームは「太極拳II」ライトトレーニングチップを発売した。「Tai Chi-II」の開発は、前世代の「Tai Chi」からわずか 4 か月後に行われ、関連する結果も Science 誌に掲載されました。この論文の実験結果は次のことを示しています。「Tai Chi」のエネルギー効率は NVIDIA H100 の 1,000 倍です。この強力なコンピューティング機能は、研究チームが開拓した分散型広範なインテリジェント光コンピューティング アーキテクチャに基づいています。
論文リンク:

https://www.science.org/doi/10.1126/science.adl1203

Taichi シリーズの新製品の発売により、インテリジェント光コンピューティングが再び業界に活気を与えています。しかし、実際的な観点から見ると、物理ハードウェア、ソフトウェア開発、アプリケーションのいずれであっても、インテリジェント光コンピューティングにはさらなる最適化と探求が依然として必要です。実際、インテリジェント光コンピューティングの研究システムはますます成熟しており、北京大学、浙江大学、華中科学技術大学などの機関や大学がそれに関与しており、関連する学術交流もますます頻繁になっています。ただし、具体的な応用方向に関しては、さまざまな大学の有力者が代表を務める研究チームが独自の焦点を持っています。例えば：

*清華大学の戴瓊海院士チーム：この論文の著者は、彼らが開発した次世代 AI 光電子融合チップで、インテリジェントな画像認識、交通シーン、顔のウェイクアップなどのアプリケーション シナリオでの実験を完了しました。レポートによると、同じ精度で、チームの研究結果は既存の GPU よりも 3,000 倍強力で、エネルギー効率が 400 万倍高く、自動運転、ロボット ビジョン、モバイルなどの分野で従来のコンピューティングのアイデアを覆すことが期待されています。デバイス。

*華中科技大学Dong Jianjiチーム：同チームが開発した光電子ハイブリッドチップは、人間の表情認識への応用を完成させた。

* 上海交通大学の徐紹福氏のチーム:同チームが開発した一連の光電子融合チップは、人工知能、信号処理などへの応用を完了し、医療画像再構成などの計算実験も完了した。

幸いなことに、研究者のたゆまぬ努力のおかげで、我が国のインテリジェント光コンピューティングチップの進歩は、基本的に諸外国と同じレベルに達しました。過去 5 年間で、世界中で光コンピューティングを導入する企業の数が数社から数十社に急速に増加しました。海外で最も代表的な企業は、世界をリードする人工知能スーパーコンピューターの構築に取り組むLuminous Computingと、フォトニック技術を使用してAIと高性能コンピューティングのワークロードの性能と省エネレベルを向上させるLightmatterです。 1億ドル以上の資金調達も獲得した。

国内では、Xizhi Technology や Photon Computing に代表される企業も、国際光コンピューティング業界の競争に参加しています。これらの新興企業はいずれも光コンピューティングを中核としており、光チップをベースにした光コンピューティングアクセラレータに焦点を当て、ソフトウェア、システム、および主要マシンの研究開発をサポートしています。つまり、我が国の光コンピューティング産業チェーンは徐々に成熟しており、関連する産学研究システムは効果的に運営され、効率的に実施されている。また、この新しい時代において、インテリジェント オプティカル コンピューティングがデジタル経済の発展と新たな生産性の飛躍的な推進力となることも期待しています。