答辩公告
我的位置在: 首页 > 答辩公告 > 正文
陈岑预答辩公告
浏览次数:日期:2019-01-11编辑:研究生教务办1

论文题目

面向大数据的异构并行处理技术研究

答辩人

陈岑

指导教师

李肯立

答辩委员会

主席

骆嘉伟

学科专业

计算机科学与技术

学院

信息科学与工程学院

答辩地点

信科院302

答辩时间

2019年1月14日

上午8:00

学位论文简介

近几年来,大数据在全球迅猛发展,引起了学术界、业界和各国政府的高度关

注。大数据的发展带来了重大的发展机遇与技术挑战。一方面,通过有效地管理大

数据并分析提取其价值,能够为行业提供高附加值的应用和服务,实现巨大的经济

和社会价值。另一方面,大数据在带来发展机遇的同时也带了巨大的技术挑战。传

统的计算技术在处理大数据时将面临诸多的技术困难。因此,需要设计并开发面向

大数据处理的机器学习、数据挖掘算法,并研究提升大数据处理性能的技术和方法,

高效的完成大数据的分析处理和价值发现。

同时,近年来当前国际上计算能力的发展异常迅速,超级计算机系统、异构并

行处理系统、异构并行处理等技术蓬勃发展。如何高效的利用异构并行系统的异构

计算资源进行大数据处理和分析也是亟需研究的问题。

本文拟深入研究大规模异构计算环境下大数据计算系统架构,提出面向大数据

的基于异构并行计算资源的大数据内存计算系统框架模型,深入研究提升该平台的

异构资源调度技术、高效的通信方法等。一方面,异构并行计算资源,特别是超算

资源强大的计算能力的充分利用将大大提升大数据处理的性能。另一方面,此系统

架构的提出将有利于推动超算资源在大数据处理方面的应用。同时为了提升大数据

平台的应用范围,深入了研究、设计基于大数据系统的并行机器学习算法,研究提

升大规模机器算法性能的技术和方法。

总体而言,本文的主要研究工作和贡献分为以下四个方面。

1.提出了一个融合CUDA和Flink平台的大数据异构并行计算框架GFlink。

不断增长的主存容量和大数据的爆炸性推动了内存大数据处理框架(例如Flink和Spark)

的发展管理和处理。但是,目前这些平台仅仅是基于CPU的系统。本文提出了GFlink,一个用于大数据的异构CPU/GPU集群上的内存计算框架。我们提出的架构使原始的Flink平台从CPU集群扩展到了异构CPU/GPU集群,大大提高了Flink的计算能力。此外,我们充分考虑平台的可编程性和易用性,采用了一系列手段来提升系统的性能,如高效的JVM-GPU通信策略、三阶段流水线执行的策略、GPU缓存方案和自适应局部感知调度方案。大量实验结果表明,GFlink能够有效利用GPU的高计算能力,并且基于GFlink的应用程序性能明显优于基于CPU的原始Flink的性能。

2.提出了一个融合OpenCL和Flink平台的大数据异构并行计算框架FlinkCL。

为了进一步提升系统的可编程性和易用性,我们提出了FlinkCL,一个基于OpenCL的

异构CPU/GPU集群的内存计算架构,使Flink能够利用GPU的庞大并行处理能力。我们提出的架构使用四种技术:异构分布式抽象模型(HDST),即时(Just-in-time,JIT)编译技术,分层部分缩减(HPR)和异构任务管理策略。使用FlinkCL,程序员只需要用简单的接口编写Java代码。Java代码可以编译为OpenCL内核并在自动在CPU和GPU上执行。我们通过一组有代表性基准测试程序全面评估了FlinkCL。我们的研究结果表明,FlinkCL在保持可编程性和易用性的同时,大大提升了大数据处理的性能。

3.提出了一个基于MapReduce模型的并行近似SS-ELM算法。

极限学习机(Extreme Learning Machine, ELM)算法近年来也被广泛应用,特别是用于处理大规模数据,因其良好的泛化性能和学习速度。半监督极限学习机(Semi-supervised Extreme Learning Machine, SS-ELM)算法将ELM算法扩展到半监督学习领域。半监督学习大数据机器学习的一个重要问题。但是,原来的SS-ELM算法需要在处理数据之前将数据存储在内存中,如果数据量很大,单机的串行的SSELM无法进行有效的处理。为了解决这个问题,本节文首先提出了一种基于MapReduce模型的高效并行SS-ELM(Parallel SS-ELM,PSS-ELM)算法,并采用了一系列优化手段以提升其性能。然后,提出了一种并行近似SS-ELM(Parallel Approximate SSELM, PASS-ELM)算法。PASS-ELM基于近似的相邻相似性矩阵算法,利用局部敏感哈希(Locality Sensitive Hashing, LSH)算法来计算近似相邻相似矩阵,从而大大降低了复杂性和占用内存。提出的AASM算法也可以用于其他的算法,因为相邻相似矩阵的计算是许多其他机器学习算法中的关键操作。实验结果证明了所提出的PASS-ELM算法可以有效地处理非常大规模的数据集性能,而且不会显着影响结果的准确性。

4.基于GFlink平台提出了一个并行层次化ELM算法。

层次化极限学习机(Hierarchical Extreme Learning Machine ELM,H-ELM)算法把ELM从单层隐藏层前馈网络到多隐藏层前馈网络,大大增强了ELM的适用性。通常为了训练层次较深的多隐藏层前馈网络,需要比较大的训练集。因此,如何利用H-ELM来在处理大数据方面值得进一步探索。我们提出了一种基于Flink和GPU的并行层次化极限学习机算法(GPH-ELM)。采用了几种优化方法来提升其性能,如基于缓存的方案,合理的分区策略,用于映射的内存映射方案特定的Java虚拟机对象到缓冲区。据我们所知,这是第一个基于内存大数据框架和GPU的并行层次化极限学习机算法。实验结果证明了我们提出GPH-ELM算法可以有效的处理大规模数据集,且具有良好的加速比和可扩展性,可充分利用集群中CPU和GPU的计算能力。通过对上述面异构计算环境下大数据计算系统体系结果研究,高效的大数据机器学习算法设计,以及异构计算环境下面向大规模数据集的并行机器学习算法方面的研究,本文取得了一系列研究工作成果。

主要学术成果

[1]Cen Chen,Kenli Li, Sin G. Teo, Xiaofeng Zou, Kang Wang, et al.,“Gated Residual Recurrent Graph Neural Networks for Traffic Prediction”, 33th AAAI Conference on Artificial Intelligence (AAAI-19), (Accepted, CCF推荐A类会议).

[2]Cen Chen, Kenli Li, Sin G. Teo, Guizi Chen, et al. Exploiting Spatio-Temporal Correlations with Multiple 3D Convolutional Neural Networks for Citywide Vehicle Flow Prediction[C]//2018 IEEE International Conference on Data Mining (ICDM). IEEE,2018: 893-898, (CCF推荐B类会议).

[3]Cen Chen, K. Li, A. Ouyang, Z. Zeng and K. Q. Li,“GFlink: An in-memory computing architecture on heterogeneous CPU-GPU clusters for big data,”IEEE Transactions on Parallel and Distributed Systems, 2018, 29(6): 1275-1288. (CCF推荐A类期刊, SCI二区期刊)

[4]Cen Chen, K. Li, A. Ouyang, and K. Q. Li,“FlinkCL: An OpenCL-based InMemory Computing Architecture on Heterogeneous CPU-GPU Clusters for Big Data,”IEEE Transactions on Computers, 2018, DOI:10.1109/TC.2018.2839719 (CCF推荐A类期刊, SCI三区期刊)

[5]Cen Chen, K. Li, A. Ouyang, Z. Tang and K. Q. Li,“GPU-Accelerated Parallel Hierarchical Extreme Learning Machine on Flink for Big Data”,IEEE Transactions on Systems Man & Cybernetics Systems: Systems, 2017, 47(10):2740-2753 (SCI二区期刊)

[6]Cen Chen, K. Li, A. Ouyang, and K. Q. Li,“A Parallel Approximate SS-ELM Algorithm based on MapReduce for Large-Scale Datasets”, Journal of Parallel and Distributed Computing,2017,208:85-94 (CCF推荐B类期刊, SCI三区期刊)

[7]Cen Chen, K. Li, A. Ouyang, Z. Tang, and K. Q. Li,“GFlink: An in-memory computing architecture on heterogeneous CPU-GPU clusters for big data”,Parallel Processing (ICPP), 2016 45th International Conference on. IEEE, 2016: 542-551 ( CCF推荐B类会议)