跳到正文
原文
Hugging Face Blog·· 2026-07-23精选AI 评分68

Diffusers 原生支持 Nunchaku 4-bit 扩散模型推理

Bringing Nunchaku 4-bit Diffusion Inference to Diffusers

AI 导读

Hugging Face Diffusers 正式引入 Nunchaku Lite,原生加载基于 SVDQuant 的 4-bit 权重和激活(W4A4)检查点,无需自定义 Pipeline 或本地 CUDA 编译。

推荐理由

原文给出了 W4A4 量化方案在 Diffusers 中的原生接入方式和实测速度收益,开发者可直接判断如何在消费级显卡上运行扩散大模型。

来源:Hugging Face Blog · huggingface.co