构建光子神经网络并实现光电融合的计算处理器

以深度学习为代表的人工智能技术发展迅猛，已为计算机视觉、自然语言处理、自动驾驶、生命科学等领域带来巨大变革。然而，随着晶体管物理尺寸逼近极限，电子计算性能提升面临瓶颈，运行大规模深度神经模型亟需新的计算范式。

利用光子作为计算的载体，具备高速、高通量、低功耗的优势。构建光子神经网络并实现光电融合的计算处理器，如光学衍射神经网络、光子干涉神经网络、光子脉冲神经网络等，已经在语音识别、图像分类等人工智能任务中取得重要进展，光子计算有望引领全新的人工智能计算范式，在信息技术前沿研究领域引起了广泛兴趣。

然而，现有的光子神经网络都只探索了向量、矩阵等规则形式的数据结构，而不能处理图（Graph）等非欧氏空间数据结构。众多科学领域分析的数据都超越了欧氏空间范畴。其中，图结构数据作为一个典型的代表，能够编码复杂系统中节点之间丰富的关系，已在动作识别、推荐系统、交通网络、化学分子性质预测等领域取得广泛应用。  

基于课题组在智能光电计算领域的积累（Nature Photonics 2021 [4], Physical Review Letters 2019 [5]），2022年6月15日，清华大学戴琼海院士团队与上海交通大学熊红凯教授团队合作在 Science Advances 杂志在线发表了题为“All-opTIcal graph representaTIon learning using integrated diffracTIve photonic compuTIng units”的研究论文，基于衍射光子计算单元（DPU）和硅基片上光电子器件库，提出了衍射光学图神经网络架构（Diffractive Graph Neural Network，DGNN）。  

DGNN 能够全光学学习图节点信息和结构特征，在 Cora-ML，Citeseer，Amazon Photo 等基准数据集上取得与电子图神经网络相当的性能，打开了利用集成光子芯片高效处理大规模图结构数据的新思路。  

清华大学自动化系博士生严涛、上海交通大学电子工程系博士生杨睿为该论文共同第一作者；清华大学电子工程系林星助理教授、上海交通大学电子工程系熊红凯教授、清华大学自动化系戴琼海教授为该论文共同通讯作者。

 

DGNN 基于消息传递的思想，通过 DPU 实现可训练的变换矩阵，提取节点特征生成消息。通过光波导及波导耦合传递消息到相邻图节点并聚合节点特征。最后通过多头（Muti-head）策略生成图的拓扑特征，应用于节点分类和图分类等任务。其中，DPU模块使用一维衍射线（Metaline）超表面结构作为衍射层来调制输入光场，多条衍射线级联构成衍射网络以实现光学特征提取。

每条衍射线由在硅-绝缘体（SOI）衬底的硅上蚀刻的矩形二氧化硅槽阵列构成，每个二氧化硅槽被称为超原子（Meta-atom），其对光场的幅度和相位调制系数由矩形槽的高度和宽度决定。DPU 模块既可以在水平方向并行扩展，来增加感受野，捕捉任意数量相邻节点的复杂特征，也可以在垂直方向上并行扩展，来提取更高维度的节点特征，提升学习能力。此外，相比采用其它片上光子计算器件，如干涉仪等，基于一维超表面结构的 DPU 模块能够实现更高集成度。

图1：DGNN原理与结构示意图。（A）具有6个节点和5条边的图结构。（B）图节点消息传递机制。（C）基于片上衍射计算单元的全光学图特征学习。（D）基于多头策略的图节点分类。  

为了验证方法的准确性和可靠性，作者首先将 DGNN 应用于合成的随机块模型（SBM）图数据集。DPU 会根据每个目标节点的三维节点属性生成一个二维神经消息，通过波导聚合不同数量邻接节点的特征来表示目标节点，再通过训练输出分类器，执行半监督图节点分类任务。作者利用有限差分时域（FDTD）方法和角谱分析方法，验证了在相同的网络规模下 DGNN 的分类性能优于电子图神经网络 PPRGo 和多层感知器（MLP）。

图2：DGNN应用于SBM半监督节点分类。（A）合成随机块模型（SBM）图数据集。（B）片上衍射计算单元（DPU）结构和光学图节点特征提取过程。（C）超原子（Meta-atom）结构。（D）DGNN与电子神经网络分类准确率对比。  

然后，DGNN 被应用于Cora-ML，Citeseer，Amazon Photo等基准数据集，并与PCA、MLP 和 PPRGo 等电子计算方法进行比较，结果显示：

（1）考虑图结构特点的网络模型性能大大超过了忽略图结构的模型；

（2）DGNN 的全光推理取得了与 PPRGo 相当的性能；

（3）DGNN 相比于PPRGo 在 Cora-ML 数据集上取得一定的精度提升，表明用光学方法实现特征提取和消息传递比电子方式更加有效。



图3：DGNN应用于标准数据集（Cora-ML，Citeseer，Amazon Photo）半监督图节点分类   进一步的，DGNN 还被应用于基于人类骨架的动作识别任务，验证了 DGNN 在图层面特征学习和分类的性能。作者采用 UTKinect-Action3D 数据集中的骨架动作视频进行评估，其中骨架的图结构包含 20 个关节的位置信息。  

DGNN 学习并聚合所有节点特征，并将视频子序列的所有图层面特征连接起来输入分类器，对所有视频子序列应用赢家通吃策略得到动作识别结果。最终，DGNN 架构实现了 83.3% 的子序列准确率和 90.0% 的视频准确率，验证了所提方法在图层面学习的有效性。

图4：DGNN应用于人类骨架动作识别   值得注意的是，一旦 DGNN 架构设计优化完成并进行物理制造，用于图特征学习的片上光学器件是无源的，基于图的人工智能任务的推理过程能够以光速处理，只受限于输入数据调制速度和输出探测速度。理论计算速度能够达到 82.6 TOPs⁻¹，能量效率能够达到为 8.26 POPs⁻¹W⁻¹，计算密度达到 130 TOPs⁻¹mm⁻²，与电子计算方式相比能够实现几个数量级的提升。未来通过提升DPU的能量传输效率可以进一步提升DGNN的计算性能。  

DGNN 提供了高效的图结构数据处理方法，将为未来基于集成光子计算的人工智能研究提供启发，使其超越欧几里得空间范畴，得到更加广泛的应用。  

审核编辑：刘清