发光忆阻器实现跨层传输构建具有迁移学习能力的超深度神经网络

        近日，福州大学/闽都创新实验室陈惠鹏团队，于国际顶级学术期刊《自然-通讯》发表研究论文“基于发光忆阻器的跨层传输用于构建具有迁移学习能力的超深度神经网络”（Cross-layer transmission realized by light-emitting memristor for constructing ultra-deep neural network with transfer learning ability）。 
        深度神经网络(DNNs)的发展极大地推动了自动驾驶技术、癌症检测、药物设计等领域的突破，并且成为了ChatGPT、PanguLM、PaLM等超大自然语言模型的基础。然而目前实现DNNs的主流做法涉及使用高端GPU、加速器或云计算，这导致了高成本和高延迟，并严重限制了DNNs在边缘人工智能场景、自动驾驶和机器人领域的应用。另一方面，尽管神经形态器件被认为能够大幅加速神经网络计算和减少功耗，但受电串扰、传输方式等限制，相关研究仍停留于浅层神经网络，不能满足更复杂的计算需求。 
        受人脑跨区域层级传输结构和残差神经网络的启发，陈惠鹏团队设计了一种使用本征并行发光忆阻器(N-LEM)协同软硬件设计实现跨层传输模块的策略，有效地利用了发光忆阻器的光与电输出之间强相关性，实现了突触输出直接跨层。此外，该N-LEM有效减少了DNNs训练所需的复位时间。进一步地，基于该策略设计出的用于多任务识别的超深神经网络和用于超分辨率图像修复的神经网络都有效避免了梯度消失(爆炸)，层数分别达到了54和134层，并展现出强大的迁移学习能力和近软件级的表现。文章提出的N-LEM和光跨层传输策略成功填补了高效、准确、高鲁棒性和低功耗DNN构建的空白，为高精度多功能硬件神经网络和边缘AI提供了新的方案。 
        该项工作得到国家自然科学基金、科技部重点研发计划、闽都创新实验室自主部署项目等项目的支持。

        文章链接：https://www.nature.com/articles/s41467-024-46246-3

（陈惠鹏团队供稿）