学位论文简介

在动态环境下，数据源规模与属性分布的频繁变化会引发算子资源调度与算子内部实例负载的频繁波动，从而导致资源调度与工作负载均衡过程中的开销显著增加，影响任务处理效率与系统稳定性。围绕算子在分布式流处理中的核心作用，本文提出一种涵盖算子资源调度层、流数据调度层与状态数据支撑层的三层优化框架，致力于在动态环境下缓解数据处理中的延迟峰值与任务中断问题，从而全面提升算子的运行时自适应能力与系统的稳定性。主要研究成果体现在以下三个层面：

（1）在集群的算子资源调度层，针对动态环境中流应用算子频繁调度的问题，提出了一种算子迁移开销感知的算子迁移方案。此方案可以探测到流应用中由于其他瓶颈算子处理效率更低而被掩盖的瓶颈算子，实现了在一次迁移中解决流应用的所有可能得瓶颈算子。

（2）在流数据调度层，针对目前流应用中的状态分区算子自身可能成为瓶颈的问题，提出了一种基于自适应采样率驱动的分区算子架构。通过自适应采样率算法自适应的调整流采样率，最大化下游算子的分区质量，同时保证分区算子自身不成为瓶颈。

（3）在算子状态数据支撑层，针对流应用在运行时执行负载均衡过程开销过大的问题，提出了一种算子自适应状态粒度的负载均衡方案。此工作负载均衡方案自适应的调整了算子状态中状态组的大小，减少了收集状态组大小与工作负载的时间。

主要学术成果

[1] Tan J, Tang Z, Cai W, et al. A Cost-aware Operator Migration Approach for Distributed Stream Processing System[J]. IEEE Transactions on Cloud Computing, 2025, 13(1): 441-454. (SCI二区，第一作者)

[2] Tan J, Yang L, Guo Y, Zuo Z, Xiao X. A Distributed Skewed Stream Processing System based on Scoring High-Frequency Key Perception. Accepted by Journal of Supercomputing. (SCI, 第一作者)

[3] Tan J, Zhang J, Tang Z, Xiao X, Jiang B, Li K. ASSG: Enhanced Workload Balancing via Adaptive State Scheduling Granularity Approach for Stateful Distributed Stream Processing. ACM transactions on architecture and code optimization. (大修, CCF A类, 第一作者)

[4] Tan J, Yang L, Zhang W, Xiao X. Adaptive Sampling-Driven Workload Balancing for Distributed Data Stream Processing. ETRI Journal. (在投, SCI, 第一作者)

[5] Li X, Tan J, Liu A, Vijayakumar P, Kumar N, Alazab and M. A novel UAV-enabled data collection scheme for intelligent transportation system through UAV speed control. IEEE Transactions on Intelligent Transportation Systems, vol. 22, no. 4, pp. 2100-2110, 2021. (CCF B类，通讯作者)