论文揭示全双工实时交互模型服务中的隐蔽崩溃:会话KV缓存持续增长并耗尽池后,系统会从毫秒级帧延迟突然停滞,且常规延迟指标此前仍显示健康。Metronome通过限制每个会话的常驻状态,结合KV窗口与在线准入控制,在四种模型、单GPU真实音频测试中消除崩溃并恢复可观测性。
最近 24 小时暂无可用热度快照。