thinkymachines 發佈的約 25B 參數模型 Inkling-2 Mini 近日在本地 AI 社區引發實測。有用戶使用 Unsloth UD-Q4_K_XL 量化在單張 RTX 3090 上運行該模型,並稱其表現勝過更大的 MoE 模型;同時,推理引擎 capy-flash v0.16 新增對該模型的支持,在兩張 16GB 50 系顯卡上跑通 254k 上下文並給出性能基準。

單卡 3090 實測與生成能力展示

據 X 用戶 LiTianleli 分享,Inkling-2 Mini 約 25B 參數,經 Unsloth UD-Q4_K_XL 量化後可在單張 RTX 3090 上運行。該用戶聲稱,其表現勝過更大的 MoE 模型。另有用戶利用 Q4 量化版本,僅憑純代碼、不依賴外部素材,生成了帶風車、草地和小屋的複雜 3D 懸浮島場景,展現出接近 3B 級本地模型的輕量可用性與生成能力。

capy-flash v0.16 雙卡跑通 254k 上下文

Reddit 用戶 FeydRowan 發佈 capy-flash v0.16,為其推理引擎新增 Inkling 2 Mini 支持,此前已支持 Qwen3.8-27B 和 Qwen3.8-Flash-Next。該版本針對兩張 16GB Blackwell 卡的張量並行做了優化,在 Linux 下運行;單張 5090 及 Windows WSL2/Docker 理論可用但未實測。

在 2×RTX 5070 Ti 16GB 配置下,基準測試結果如下:

測試項數值
聊天解碼149 tok/s
代碼解碼194 tok/s
4k 提示詞 prefill5,032 tok/s
250k 上下文解碼53 tok/s
250k 上下文 prefill1,413 tok/s

上下文 254k 可全部放進顯存,但因保持 NVFP4 原始權重與激活不量化、KV cache 也不量化,加上模型的全局注意力,無法達到 1M 上下文。長上下文衰減明顯:250k 時解碼降至 53 tok/s,prefill 降至 1,413 tok/s。

作者計劃先測當前性能,再考慮針對性量化提速。代碼與權重均已開源。

社區影響與後續關注

兩條線索共同反映,小模型本地部署的成本門檻正在下降。單張 RTX 3090 即可運行約 25B 參數模型,兩張 16GB 50 系卡可支撐 254k 上下文,對本地 AI 社區具有實用價值。後續關注點包括:capy-flash 作者針對長上下文衰減的量化提速方案,以及更多用戶在不同硬件配置上的實測反饋。