据腾讯混元消息，腾讯混元团队近日正式推出旗舰模型Hy3的1bit与4bit量化版本，并将其打包为GGUF格式，适配llama.cpp生态。此举使得原本需要多卡集群部署的295B参数模型，如今仅需单张推理显卡甚至内存充足的本地机器即可运行，大幅降低了使用门槛。
此次发布的量化版本中，1bit极限量化版IQ1_M将模型权重从原版BF16格式的598GB压缩至85.5G（885556）iB，体积缩小6.7倍，一张96GB显存的推理显卡即可部署，适合硬件受限的本地场景。4bit量化版Q4_K_M体积为169.9GiB，需两张推理显卡承载，可在有限资源下提供更接近满血模型的效果。此外，团队还提供了GPTQ Int4版本，可直接通过vLLM部署，享受高并发、低延迟的服务端优势。
性能方面，4bit版本在多数任务中表现与BF16原版高度一致，无论是首选答案还是Top-K概率分布均与原始模型保持接近，在Agent能力、多语言代码、工具调用和长文理解等任务上成绩贴近满血模型。GPTQ Int4模型在评测集上的掉点幅度也极为有限。
1bit版本的表现超出预期。在主流任务上，该版本依然保持稳健，长文理解能力几乎与原始模型持平，Agent与代码方向能力仅有小幅回落。在日常的编码辅助、工具调用、长文档处理和常规问答任务中，1bit版本已完全够用。
为提升实际使用体验，团队专门为llama.cpp开发了补丁，补齐了对Hy3模型结构中MTP（多令牌预测）投机解码的支持。开启MTP后，1bit版本解码速度提升约50%，4bit版本提升接近60%，且接受率稳定在60%左右，确保了流畅的交互体验。相关构建与部署指引已公开发布。
原文：极致量化，近三千亿参数 Hy3 单卡即可部署（来源：腾讯混元）
