OctoLong：在跨代码仓库上下文上进行中期训练，提升长上下文建模能力

OctoLong利用AST解析器、语言服务器后端和包管理器递归检索代码引用，构建数百万token的依赖密集型跨仓库上下文。研究者以约50B token混合数据训练600M至14B参数模型，其中约6.2B token来自OctoLong代码上下文、约10B token用于指令微调；实验称，仅替换12%的传统长上下文语料即可改善远程检索、状态跟踪、仓库级理解和智能体任务。