据早期测试者loktar00在社交平台X上曝光,一个名为Hy4-Flash的新开源模型可在本地运行,采用总参数224B、激活参数仅12B的MoE架构。该测试者已获得早期访问权限并完成多项测试,其中使用“向日葵上的蜜蜂”提示词进行的单轮一次性生成耗时32分钟,他称这一表现对该体量模型而言“非常疯狂”,整体质量令他惊喜,并承诺后续放出更多测试结果。
INT4优化落地:int8-vllm首个INT4模型
与此同时,int8-vllm项目宣布加入对Hy4-Flash的优化支持,这是该项目首个INT4模型。据项目方介绍,在INT4精度下,模型可完整塞进128GB显存,并剩余约130万token的共享上下文空间。该INT4 checkpoint使用NeUQI校准技术制作,已发布在Hugging Face上。
实测数据方面,在4块MI100、C8配置下,tg128达到222.4 tok/s,pp512达到1655 tok/s;并发为8、带2048上下文时,tg256为96.7 tok/s。另有用户在2x MI210上运行Qwen3.8 27B,解码速度超过1000 tok/s。
| 配置 | 指标 | 数值 |
|---|---|---|
| 4块MI100,C8 | tg128 | 222.4 tok/s |
| 4块MI100,C8 | pp512 | 1655 tok/s |
| 并发8,2048上下文 | tg256 | 96.7 tok/s |
| 2x MI210 | Qwen3.8 27B解码速度 | 超过1000 tok/s |
面向AMD老卡:二手MI100的性价比定位
int8-vllm项目主打AMD老卡,覆盖MI100、MI210、MI50、MI60及RDNA1-3架构,并提供docker compose配置。项目作者还通过将epilogue工作延迟合并进后续融合内核,使MI100的向量ALU与矩阵核心同时跑满,为多数GEMM带来15%提升;W4A8 GEMM支持已加入配套的AITER fork。
作者指出,二手MI100目前价格约1300美元,同价位新卡算力约翻倍但内存带宽减半,作为推理卡具有独特的性价比。
这一观点为预算有限的本地部署用户提供了新的硬件选择参考。
后续关注
目前Hy4-Flash的完整评测数据尚未大规模公开,loktar00承诺的更多测试结果、模型在更多硬件配置上的实际表现,以及INT4版本在长上下文场景下的稳定性,均值得持续关注。
