Hugging Face Blog·· 8 天前精选AI 评分75
Multiverse Computing 用 Ising 优化方法实现深度大模型块剪枝
Pruning LLMs Like a Physicist: Block Removal as an Ising Optimization Problem
AI 导读
Multiverse Computing 团队发表论文，将 Transformer 块移除问题重构为受限二元优化（CBO），映射到 Ising 玻璃模型，通过 Hessian 矩阵捕捉块间耦合关系。
推荐理由
将大模型深度剪枝转化为 Ising 玻璃优化问题，在 Llama-3.3-70B 50% 压缩下 MMLU 比强基线高出近 23 分，并开源代码。
来源：Hugging Face Blog · huggingface.co