科学工作流执行优化研究获进展

科学工作流由相互依赖的计算任务构成，已成为现代科学计算的基石。当前计算资源快速提升，但网络与I/O带宽发展相对滞后，加之超算互联网、AI+大数据等推动数据密集型工作流兴起，数据交互环节成为制约部分科学工作流性能的瓶颈。

为优化计算任务与数据交互的协同，提高工作流整体性能，近日，中国科学院计算机网络信息中心提出面向高性能计算环境、以数据为中心的科学工作流执行框架高性能计算工作流。该工作流采用数据驱动式异步执行模式，节省集中式协调开销，实现计算与数据交互的异步流水线式执行；引入上下文感知的数据传输机制，提升不同场景下的数据传输效率；建立输入数据同步机制，保障资源动态扩缩时跨节点并行任务的输入数据完整性，增强系统在真实高性能计算集群中的适用性与鲁棒性。

生产级高性能计算环境实证评估表明，高性能计算工作流可节省集中式协调开销，实现计算与数据传输的异步流水线，在数据密集型场景下表现出性能优势。在大规模视频处理工作流实验中，高性能计算工作流实现的流水线重叠，能节省38.8%延迟。相较于传统执行方式，高性能计算工作流通过协同优化计算任务与数据交互，可降低科学工作流总完成时间与端到端延迟。

研究成果发表在CCF Transactions on High Performance Computing上。研究工作得到国家重点研发计划的支持。