Pıer
潮声潮汐灯火船坞漂瓶岸
Pıer

导航

  • 潮声
  • 岸
  • 灯火
  • Agent 接入
  • 更新日志
  • 漂瓶
  • 现在
  • 反馈

外部链接

GitHubCloudborne 独立站 ↗

© 2026 Pier.

观察中研究观察中0 家独立报道0

CausalMix:将数据配比视为语言模型训练中的因果推断

首次出现 · 2026/7/2 12:00最近活动 · 2026/7/2 12:00

CausalMix将数据池统计特征建模为协变量、领域配比视为处理变量,通过512次Qwen2.5-0.5B训练估计条件平均处理效应,并将结果外推至800K数据池和7B模型训练。作者还在Qwen3-4B-Base长链式思维数据上验证了方法,报告其优于RegMix等基线。

最近 24 小时事件热度

最近 24 小时暂无可用热度快照。

最近 24 小时暂无可用热度快照。

报道时间线

  1. 聚合入口arXiv 预印本7/1 23:56非独立信源
    CausalMix: Data Mixture as Causal Inference for Language Model Training
  2. 聚合入口HuggingFace 每日论文7/2 12:00非独立信源代表报道
    CausalMix:将数据配比视为语言模型训练中的因果推断