主 题：面向大模型推理的异构内存与执行协同优化：从KV缓存管理到全图调度

主讲人：蒋力

时 间：10月29日 10:00

地 点：信息楼221

主讲人简介：

蒋力，上海交通大学计算机学院研究员、博士生导师，国家重点研发计划首席科学家，国家级高层次青年人才。主要研究AI芯片架构、编译与推理框架、存算一体系统架构，相关成果应用于国产AI芯片与算力平台。

内容摘要：

长上下文与混合专家模型正在把大模型推理的瓶颈推向内存：KV缓存持续膨胀，专家参数频繁换入，计算图中的短时峰值又进一步挤占显存。本报告首先用一页概览2025年的三类工作，包括KV缓存低比特压缩、生成过程动态精度切换，以及稀疏与稠密计算核的编译调度；随后重点介绍2026年的系统软件进展：利用专家激活的熵特征和时空规律预测下一步计算，提前预取并复用模型参数；将远程内存访问显式纳入计算图，在超节点的层次化内存中统一规划放置、卸载和计算—通信重叠；分析张量生命周期与显存峰谷，通过算子替换、分区、交换和重计算平滑计算图的内存需求。这些工作形成了一条从“减少需要搬运的数据”，到“提前安排数据搬运”，再到“全图协调计算、存储与通信”的递进路线，为长上下文、高并发大模型在异构算力平台上的高效部署提供新的软件方法。