用在线学习降低大语言模型路由成本

Ramp 工程团队介绍如何将 Thompson sampling 用于大语言模型路由，在不同模型的质量、延迟与调用成本之间进行在线权衡。文章聚焦路由器如何根据持续到来的反馈更新策略，适合关注多模型系统、推理成本和生产优化的读者。文中具体收益与实验细节需以原文为准。