Spark-Streaming中任务负载均衡模型与方法研究-湖大信息科学与工程学院
学术报告
我的位置在: 首页 > 学术报告 > 正文
Spark-Streaming中任务负载均衡模型与方法研究
浏览次数:日期:2018-04-13编辑:信科院 科研办

报告时间:2018417周二15:30

报告地点:湖南大学信息科学与工程学院106教室

报告人简介:付仲明,湖南大学信息科学与工程学院2016级博士研究生,导师为唐卓教授。主要研究兴趣为Spark及Hadoop的任务调度模型优化、算法并行优化和GPU+ Spark的异构体系研究。主要成果发表在Journal of Grid Computing期刊上。

报告主要内容:高速数据流处理已经成为各个应用领域的一项紧迫需求,而得益于云计算和大数据技术的发展,使得MapReduce框架能够高效胜任这一任务。针对数据倾斜(data skew)问题,已有研究主要集中在对离线静态数据的处理优化,因此在数据流处理中并不能有效解决这一问题。本次报告主要讲解Spark-Streaming中的抗数据倾斜模型,并结合其他优化算法,对MapReduce作业中任务负载均衡的一些关键问题进行探讨和研究。