学位论文简介

本学位论文从忆阻器、神经网络和注意力机制出发，研究和设计基于注意力机制的忆阻神经网络电路，结合注意力机制提高忆阻神经网络电路的性能，并实现基于注意力机制的忆阻神经网络电路在监督学习、无监督学习、持续学习和目标跟踪四个不同领域的应用。主要研究内容和主要创新点如下：

（1）研究了一种具有选择性监督注意算法的忆阻脉冲神经网络电路及其监督学习应用。所提出的忆阻脉冲神经网络电路在学习少量带标签样本后即可用于MNIST数据集或Fashion MNIST数据集的分类并具有良好的分类准确率，降低了人工标注的成本，提高了忆阻脉冲神经网络电路的监督学习效率。

（2）研究了一种基于注意力机制的联想忆阻脉冲神经网络电路及其无监督学习应用。相比于其他用于无监督图像分类的忆阻脉冲神经网络电路，所提出电路具有更小的忆阻脉冲神经网络规模和更少的忆阻器数量，并实现了更高的分类准确率。

（3）研究了一种基于注意力机制的选择性学习忆阻神经网络电路及其持续学习应用。在 Permuted MNIST和Rotated MNIST的基准实验中，与其他忆阻神经网络电路相比，所提出电路实现了更优的图像分类性能，并显著减轻了灾难性遗忘。此外，所提出电路与在冯·诺依曼计算系统上运行的持续学习算法相比具有更低功耗和更少计算时间的优势。

（4）研究了一种忆阻-选择性注意神经网络电路及其相应算法用于实现并行计算下的在线实时目标跟踪。在实时跟踪基准数据集上的实验和分析验证了所提出的忆阻-选择性注意神经网络电路具有良好的跟踪性能和高实时性能。

主要学术成果

[1] Deng Zekun, Wang Chunhua, Lin Hairong, Sun Yichuang. A memristive spiking neural network circuit with selective supervised attention algorithm. IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems, 2023, 42(8): 2604-2617. (CCF A类期刊, 第一作者)

[2] Deng Zekun, Wang Chunhua, Lin Hairong, Deng Quanli, Sun Yichuang. Memristor-Based attention network for online real-time object tracking. IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems, 2024, DOI: 10.1109/TCAD.2024.3437345. (CCF A类期刊, 第一作者)

[3] 邓泽坤, 王春华, 蔺海荣, 邓全利, Sun Yichuang. 基于注意力的联想忆阻脉冲神经网络及其无监督图像分类应用. 中国科学: 信息科学, 2024, DOI: 10.1360/SSI-2023-0393. (CCF A类中文期刊, 第一作者)

[4] Deng Zekun, Wang Chunhua, Lin Hairong, Deng Quanli, Sun Yichuang. An attention-based memristive neural network circuit for continual learning. Neurocomputing. (SCI二区Top，大修在审, 第一作者)