学位论文简介

本文将注意力机制与忆阻神经网络电路相结合，从视觉图像处理领域中的监督学习、无监督学习、持续学习以及目标跟踪等四个方面出发，研究和设计了四种基于注意力机制的忆阻神经网络电路。主要研究内容和主要创新点如下：

（1）启发于人类视觉系统中的自上而下选择性注意机制和自下而上选择性注意机制，研究了一种具有选择性监督注意算法的忆阻脉冲神经网络电路及其监督学习应用。所提出的忆阻脉冲神经网络电路在学习少量带标签样本后即可用于MNIST数据集或Fashion MNIST数据集的分类并具有良好的分类准确率，降低了人工标注的成本，提高了忆阻脉冲神经网络电路的监督学习效率。

（2）启发于人类视觉系统中注意力机制通过搜索和选择重要信息可以有效减少视觉神经元数量和神经网络规模，并结合巴甫洛夫联想记忆原理，研究了一种基于注意力机制的联想忆阻脉冲神经网络电路及其无监督学习应用。相比于其他用于无监督图像分类的忆阻脉冲神经网络电路，所提出电路具有更小的忆阻脉冲神经网络规模和更少的忆阻器数量，并实现了更高的分类准确率。

（3）启发于人类视觉系统中注意力机制通过选择性地激活视觉神经元来持续学习不同视觉任务，研究了一种基于注意力机制的选择性学习忆阻神经网络电路及其持续学习应用。在 Permuted MNIST和Rotated MNIST的基准实验中，与其他忆阻神经网络电路相比，所提出电路实现了更优的图像分类性能，并显著减轻了灾难性遗忘。此外，所提出电路与在冯·诺依曼计算系统上运行的持续学习算法相比具有更低功耗和更少计算时间的优势。

（4）启发于人类视觉系统的注意力机制通过对视觉区域分配不同注意力资源实现对目标对象的跟踪，研究了一种忆阻-选择性注意神经网络电路及其相应算法用于实现并行计算下的在线实时目标跟踪。在实时跟踪基准数据集上的实验和分析验证了所提出的忆阻-选择性注意神经网络电路具有良好的跟踪性能和高实时性能。

主要学术成果

[1] Deng Zekun, Wang Chunhua, Lin Hairong, Sun Yichuang. A memristive spiking neural network circuit with selective supervised attention algorithm. IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems, 2023, 42(8): 2604-2617. (CCF A类期刊, 第一作者)

[2] Deng Zekun, Wang Chunhua, Lin Hairong, Deng Quanli, Sun Yichuang. Memristor-Based attention network for online real-time object tracking. IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems, 2024, DOI: 10.1109/TCAD.2024.3437345. (CCF A类期刊, 第一作者)

[3] 邓泽坤, 王春华, 蔺海荣, 邓全利, Sun Yichuang. 基于注意力的联想忆阻脉冲神经网络及其无监督图像分类应用. 中国科学: 信息科学, 2024, DOI: 10.1360/SSI-2023-0393. (CCF A类中文期刊, 第一作者)

[4] Deng Quanli, Wang Chunhua, Deng Zekun. Memristive circuit of quaternion multiplication and its application in aircraft attitude computation. IEEE Transactions on Circuits and Systems II: Express Briefs, 2024, 71(8): 3970-3974. (SCI二区Top，第三作者)

[5] Deng Quanli, Wang Chunhua, Sun Jingru, Sun Yichuang, Jiang Jinguang, Lin Hairong, Deng Zekun. Nonvolatile CMOS memristor, reconfigurable array, and its application in power load forecasting. IEEE Transactions on Industrial Informatics, 2024, 20(4): 6130-6141. (SCI一区)