Mistral AI·2026-01-22 00:00· 2026-01-22精选AI 评分67

Mistral 排查 vLLM 拆分推理中的内存泄漏

Heaps do lie: debugging a memory leak in vLLM.

AI 导读

Mistral AI 团队在预发布中发现了使用 Mistral Medium 3.1 和图编译的 vLLM 拆分推理场景下出现每小时约 24GB 的内存泄漏。经过 Heaptrack、pmap、BPFtrace 和 GDB 自动化排查，最终定位为 UCX 的 mmap hook 机制导致内存累积。

推荐理由

原文披露了使用Heaptrack、pmap、BPFtrace和GDB自动化定位vLLM内存泄漏的全过程，可迁移至同类系统。

来源：Mistral AI · mistral.ai