Pıer
潮声潮汐灯火船坞漂瓶岸
Pıer

导航

  • 潮声
  • 岸
  • 灯火
  • Agent 接入
  • 更新日志
  • 漂瓶
  • 现在
  • 反馈

外部链接

GitHubCloudborne 独立站 ↗

© 2026 Pier.

观察中研究观察中0 家独立报道0

HERMES:用于预训练数据混合的多粒度标注基底

首次出现 · 2026/7/2 22:51最近活动 · 2026/7/2 22:51

HERMES提出一种从数据中学习的层级标注基底:先进行学习式语义变换,再通过三阶段残差向量量化,为每篇文档生成可由前缀长度控制粒度的粗到细编码,最多约13万个单元。在1B参数、25B token预训练实验中,不同粒度揭示了固定标签管线难以观察的数据配比交互。

最近 24 小时事件热度

最近 24 小时暂无可用热度快照。

最近 24 小时暂无可用热度快照。

报道时间线

  1. 聚合入口arXiv 预印本7/2 22:51非独立信源代表报道
    HERMES:用于预训练数据混合的多粒度标注基底