ATSInfer：面向消费级设备混合 CPU-GPU 大模型推理的自动张量调度

论文提出 ATSInfer，在张量粒度进行 CPU-GPU 卸载与调度，结合静态放置、负载感知的动态传输及异步协同，针对消费级设备显存不足和硬件负载变化优化密集模型与 MoE 推理。摘要称，预填充吞吐最高提升 1.94 倍，解码吞吐最高提升 3.29 倍。