报告时间:2018年4月17日周二15:30
报告地点:湖南大学信息科学与工程学院106教室
报告人简介:付仲明,湖南大学信息科学与工程学院2016级博士研究生,导师为唐卓教授。主要研究兴趣为Spark及Hadoop的任务调度模型优化、算法并行优化和GPU+ Spark的异构体系研究。主要成果发表在Journal of Grid Computing期刊上。
报告主要内容:高速数据流处理已经成为各个应用领域的一项紧迫需求,而得益于云计算和大数据技术的发展,使得MapReduce框架能够高效胜任这一任务。针对数据倾斜(data skew)问题,已有研究主要集中在对离线静态数据的处理优化,因此在数据流处理中并不能有效解决这一问题。本次报告主要讲解Spark-Streaming中的抗数据倾斜模型,并结合其他优化算法,对MapReduce作业中任务负载均衡的一些关键问题进行探讨和研究。