从零用 Rust 编写的核外 LLM 推理引擎

Vage91 在 GitHub 发布 Kortex，一个从零用 Rust 编写的核外大语言模型推理引擎。项目重点是将无法完整放入显存或内存的模型分块管理并执行推理，但目前公开信息主要来自 Hacker News 条目，尚缺少性能、兼容模型和硬件支持等细节。