Google Cloud 将 TPU 原生接入 vLLM：面向长上下文多模态 Embedding 推理

Google Cloud 已在 vLLM 服务引擎中原生集成了 TPU 支持，让开发者能够利用 Google Kubernetes Engine (GKE) 弹性扩展高需求的 Embedding 流水线。为了处理像 Qwen3-Embedding-8B 这类模型高达 15K+ token 的超长上下文，工程团队实施了一系列针对 TPU 的专项优化，例如硬件安全的张量对齐、JAX/XLA 编译预热，以及用于分块预填充（chunked prefill）管理的混合 StepPool 架构。这些优化实现了与参考 GPU 基准近乎完美的数值一致性，开发者可立即利用 AI-Hypercomputer GitHub 上的开源配置方案来构建自己的高吞吐量语义检索应用。