據早期測試者loktar00在社交平台X上曝光,一個名為Hy4-Flash的新開源模型可在本地運行,採用總參數224B、激活參數僅12B的MoE架構。該測試者已獲得早期訪問權限並完成多項測試,其中使用“向日葵上的蜜蜂”提示詞進行的單輪一次性生成耗時32分鐘,他稱這一表現對該體量模型而言“非常瘋狂”,整體質量令他驚喜,並承諾後續放出更多測試結果。
INT4優化落地:int8-vllm首個INT4模型
與此同時,int8-vllm項目宣佈加入對Hy4-Flash的優化支持,這是該項目首個INT4模型。據項目方介紹,在INT4精度下,模型可完整塞進128GB顯存,並剩餘約130萬token的共享上下文空間。該INT4 checkpoint使用NeUQI校准技術製作,已發佈在Hugging Face上。
實測數據方面,在4塊MI100、C8配置下,tg128達到222.4 tok/s,pp512達到1655 tok/s;併發為8、帶2048上下文時,tg256為96.7 tok/s。另有用戶在2x MI210上運行Qwen3.8 27B,解碼速度超過1000 tok/s。
| 配置 | 指標 | 數值 |
|---|---|---|
| 4塊MI100,C8 | tg128 | 222.4 tok/s |
| 4塊MI100,C8 | pp512 | 1655 tok/s |
| 併發8,2048上下文 | tg256 | 96.7 tok/s |
| 2x MI210 | Qwen3.8 27B解碼速度 | 超過1000 tok/s |
面向AMD老卡:二手MI100的性價比定位
int8-vllm項目主打AMD老卡,覆蓋MI100、MI210、MI50、MI60及RDNA1-3架構,並提供docker compose配置。項目作者還通過將epilogue工作延遲合併進後續融合內核,使MI100的向量ALU與矩陣核心同時跑滿,為多數GEMM帶來15%提升;W4A8 GEMM支持已加入配套的AITER fork。
作者指出,二手MI100目前價格約1300美元,同價位新卡算力約翻倍但內存帶寬減半,作為推理卡具有獨特的性價比。
這一觀點為預算有限的本地部署用戶提供了新的硬件選擇參考。
後續關注
目前Hy4-Flash的完整評測數據尚未大規模公開,loktar00承諾的更多測試結果、模型在更多硬件配置上的實際表現,以及INT4版本在長上下文場景下的穩定性,均值得持續關注。
