面向语言智能的可扩展视觉预训练

论文研究不提取文本、直接利用文档视觉表示进行无监督预训练的方法。作者指出，图表、排版公式和页面布局包含文本无法完整承载的知识，并报告在多个骨干模型和基准上，视觉预训练在相同语料基础上持续优于纯文本预训练。