答辩公告
我的位置在: 首页 > 答辩公告 > 正文
李昊博士生答辩公告
浏览次数:日期:2021-10-20编辑:研究生秘书

学位论文简介

1.针对二阶 HiDS 数据的随机梯度稀疏矩阵分解实时、高精度的 CF 推荐难题,

通过移除 CF 推荐系统中用户和物品对的相关性,在保证二阶稀疏矩阵分解收敛性的情况

下提出了多流随机梯度方法。在这个基础上,一种利用 GPU 编程语言 CUDA 框架的并行多

流随机梯度方法被提出,该算法具有 GPU 上高并行度以及高可扩展的性质,对于大规模的

CF 推荐系统问题,进一步提出了多 GPU 的多流随机梯度算法。在 K20m 以及 K40c 版本 GPU

上,实验表明该算法在速度以及精度比其他稀疏矩阵分解并行算法具有优越性,例如共享

内存的 DSGD、FPSGD、Hogwild!以及 CCD++。

2.为了克服稀疏 Tucker 张量分解由于矩阵 Khatri-Rao 乘法、Kronecker 乘法

以及矩阵-矩阵乘法造成的中间变量矩阵过大,从而引起与主流大数据计算平台不能融合

问题,提出了随机优化稀疏 Tucker 张量分解算法,该算法只需要考虑从 HOHDST 随机提取

的非零元素而不是整个的 HOHDST 数据,同时能够保证精度以及收敛性。实际上,该算法

有两点优势,首先,能够减低分布式计算时候的通信开销,其次该算法是细粒度并行算法

能够确保低计算开销同时保证精度。实验证明了该算法与同类算法的优越性。

3.针对二阶 HiDS 数据稀疏非负矩阵分解,频繁的矩阵操作以及消耗巨大内存的

中间矩阵从而带来不能适应信息工业平台计算的问题,提出了一种在线、可扩展、单线程

的稀疏非负矩阵分解方法。通过理论推导,单线程稀疏非负矩阵分解只依赖 HiDS 中的非

零元素以及相关因子矩阵元素乘法和累加运算。单线程稀疏非负矩阵分解算法具有在 GPU

上细粒度 CUDA 并行特性。

4.针对高维流形正则非负矩阵分解处理 HiDS 数据遇到的大规模中间拉普拉斯

矩阵、频繁的矩阵操作以及$K$近邻操作导致的并行过载写问题,提出了一种单线程流形

正则非负矩阵分解算法。该算法能够解决欧式测度以及 KL 散度测度方式的学习问题。该

方法只依赖于计算过程中涉及到的相关特征元素乘法和累加运算从而避免了大规模以及

频繁的矩阵操作。更进一步的是,该模型能够在并行过程中去掉一些特征向量的相关性,

因此更加适用于 GPU 计算中的 CUDA 细粒度并行。

 

 主要学术成果

  1. Hao Li*, etcMultiple Strategies Differential Privacy on Sparse Tensor Factorization for Network Traffic Analysis in 5G” (Accepted by IEEE Transaction on Industrial Informatics,中科院一区)

  2. Hao Li, Kenli Li*, Zixuan Li, Lydia Chen, Keqin Li, SGD Tucker: A Novel Stochastic Optimization

    Strategy for Parallel Sparse Tucker Decomposition” Accepted by IEEE Transaction on Parallel and Distributed Systems, 2020, CCF A,中科院二区)

  3. Hao Li, Kenli Li*, Jiyao An, Keqin Li, “An Online and Scalable Model for Large-scale Generalized Sparse Non-negative Matrix Factorization on Multi-GPU”, (IEEE Transaction on Industrial Informatics, 中科院二, In Press);

  4. Hao Li, Kenli Li*, Jiyao An, Keqin Li, “CUSNTF: A Scalable Sparse Non-negative Tensor Factorization Model for Large-scale Industrial Applications on Multi-GPU”, (CIKM 2018, CCF B Conference, In Press);

  5. Hao Li, Keqin Li*, Jiyao An, Weihua Zheng, Kenli Li*, “An Efficient Manifold Regularized Sparse Non-negative Matrix Factorization Model to Large-scale Collaborative Filtering Recommender Systems”, (Information Sciences, CCF B,中科院一区In Press);

  6. Hao Li, Kenli Li*, Jiwu Peng, Keqin Li, “CuSNMF: A Sparse Non-negative Matrix Factorization Approach for Large-Scale Recommender Systems on multi-GPU”, (Accepted by The 15th IEEE International Symposium on Parallel and Distributed Processing with Applications (In Press, IEEE ISPA 2017, CORE b, QUALIS b3, CCF C));

  7. Hao Li, Kenli Li*, Jiwu Peng, Keqin Li, “An Efficient Parallelization Approach for Large-scale Sparse Non-negative Matrix Factorization Using Kullback-Leibler Divergence on Multi-GPU”, (Accepted by The 15th IEEE International Symposium on Parallel and Distributed Processing with Applications (In Press, IEEE ISPA 2017, CORE b, QUALIS b3, CCF C));

  8. Hao Li, Kenli Li*, Jiyao An, Keqin Li, “MSGD: A Novel Matrix Factorization Approach for Large-scale Collaborative Filtering Recommender Systems on GPUs”, IEEE Transaction on Parallel and Distributed Systems,2017. (In press, CCF A中科院二区).