学位论文简介
眼动特征作为一种重要的生理特征，对于理解用户心理、生理和身份状态具有重要意义。本学位论文在分析国内外研究现状的基础上，针对基于眼动特征的用户状态感知关键技术进行了研究。通过分析眼动数据，探索了眼动特征与用户状态之间的关联，并提出了一系列方法和算法用于实现用户状态感知。本文将用户状态分为心理状态、生理状态和身份状态，并通过眼动特征来识别和预测这些状态。论文的主要创新成果如下：
针对用户心理状态感知问题，提出了移动端推荐框架PupilRec。该框架由移动终端和服务器端组成。在移动终端，通过智能手机的前置摄像头收集用户瞳孔大小变化信息。经过预处理，将数据传输到服务器端。在服务器端，利用Tsfresh软件包和随机森林算法确定关键时间序列特征，以表示用户偏好。通过训练神经网络来拟合用户偏好模型，PupilRec能够预测用户偏好并生成用户-产品矩阵。通过奇异值分解对矩阵进行简化，并利用协同过滤算法实现实时推荐。研究中进行了原型设计和实验，全面评估了PupilRec的有效性。
针对用户生理状态感知问题，提出了一种基于计算机视觉的移动心率变异性（HRV）监测框架——PupilHeart，该框架由移动终端和服务器端构成。在移动终端上，通过前置摄像头从用户使用面部识别解锁手机时收集瞳孔大小变化信息。然后，在服务器端对原始瞳孔大小数据进行预处理。具体而言，PupilHeart使用一维卷积神经网络（1D-CNN）来识别与HRV相关的时间序列特征。此外，PupilHeart通过包含三个隐藏层的循环神经网络（RNN）对瞳孔和HRV进行建模。利用这个模型，PupilHeart在每次用户解锁手机时推断其HRV，以获取其心脏状态。本研究对PupilHeart进行了原型设计，并通过招募志愿者进行了实验和现场研究，以全面评估PupilHeart的有效性。整体结果表明，PupilHeart能够准确预测用户的HRV。
针对用户身份状态感知问题，提出了一种基于计算机视觉和深度学习的虚拟现实用户身份认证框架——FPAuth，FPAuth包括注册模块和认证模块。在注册模块中，FPAuth对收集到的注视点坐标序列进行预处理，并提取与用户身份相关的五个特征，然后使用基于深度学习和集成学习的方法对提取的特征进行训练，从而构建用户认证模型。在认证模块中，FPAuth对收集到的注视点序列进行预处理和特征提取，并将其输入预训练好的用户识别模型进行认证。本研究使用FPAuth作为原型进行了实验和现场研究，通过招募志愿者对FPAuth的有效性进行了全面评估。整体结果表明，FPAuth能够以较低的平均等错误率准确认证用户的身份。
主要学术成果
Xiangyu Shen, Hongbo Jiang, Daibo Liu, Kehua Yang, Feiyang Deng, John C. S. Lui, Jiangchuan Liu, Schahram Dustdar, Jun Luo. PupilRec: Recommendation System based on Pupil Morphology on Mobile Devices, IEEE Internet of Things Journal, 2022, 9(17): 15538-15553. (SCI一区, 第一作者)
Xiangyu Shen, Hongbo Jiang, Daibo Liu, Kehua Yang, Feiyang Deng, Taiyuan Zhang, Zhu Xiao, John C. S. Lui, Jiangchuan Liu, Schahram Dustdar, Jun Luo. PupilHeart: Heart Rate Variability Monitoring via Pupillary Fluctuations on Mobile Devices, IEEE Internet of Things Journal. (在线发表，SCI一区, 第一作者)
Hongbo Jiang, Xiangyu Shen, Daibo Liu. PupilMeter: Modeling User Preference with Time-Series Features of Pupillary Response. 2021 International Conference on Distributed Computing Systems (ICDCS 2021), 2021: 1031-1041. (在线发表，CCF B类会议，导师一作)
Zhu Xiao, Xiangyu Shen, Fanzi Zeng, Vincent Havyarimana, Dong Wang, Weiwei Chen, Keqin Li. Spectrum Resource Sharing in Heterogeneous Vehicular Networks: A Noncooperative Game-Theoretic Approach With Correlated Equilibrium, IEEE Transactions on Vehicular Technology, 2018, 67(10): 9449-9458. (SCI二区, 导师一作)
