thinkymachines 发布的约 25B 参数模型 Inkling-2 Mini 近日在本地 AI 社区引发实测。有用户使用 Unsloth UD-Q4_K_XL 量化在单张 RTX 3090 上运行该模型,并称其表现胜过更大的 MoE 模型;同时,推理引擎 capy-flash v0.16 新增对该模型的支持,在两张 16GB 50 系显卡上跑通 254k 上下文并给出性能基准。

单卡 3090 实测与生成能力展示

据 X 用户 LiTianleli 分享,Inkling-2 Mini 约 25B 参数,经 Unsloth UD-Q4_K_XL 量化后可在单张 RTX 3090 上运行。该用户声称,其表现胜过更大的 MoE 模型。另有用户利用 Q4 量化版本,仅凭纯代码、不依赖外部素材,生成了带风车、草地和小屋的复杂 3D 悬浮岛场景,展现出接近 3B 级本地模型的轻量可用性与生成能力。

capy-flash v0.16 双卡跑通 254k 上下文

Reddit 用户 FeydRowan 发布 capy-flash v0.16,为其推理引擎新增 Inkling 2 Mini 支持,此前已支持 Qwen3.8-27B 和 Qwen3.8-Flash-Next。该版本针对两张 16GB Blackwell 卡的张量并行做了优化,在 Linux 下运行;单张 5090 及 Windows WSL2/Docker 理论可用但未实测。

在 2×RTX 5070 Ti 16GB 配置下,基准测试结果如下:

测试项数值
聊天解码149 tok/s
代码解码194 tok/s
4k 提示词 prefill5,032 tok/s
250k 上下文解码53 tok/s
250k 上下文 prefill1,413 tok/s

上下文 254k 可全部放进显存,但因保持 NVFP4 原始权重与激活不量化、KV cache 也不量化,加上模型的全局注意力,无法达到 1M 上下文。长上下文衰减明显:250k 时解码降至 53 tok/s,prefill 降至 1,413 tok/s。

作者计划先测当前性能,再考虑针对性量化提速。代码与权重均已开源。

社区影响与后续关注

两条线索共同反映,小模型本地部署的成本门槛正在下降。单张 RTX 3090 即可运行约 25B 参数模型,两张 16GB 50 系卡可支撑 254k 上下文,对本地 AI 社区具有实用价值。后续关注点包括:capy-flash 作者针对长上下文衰减的量化提速方案,以及更多用户在不同硬件配置上的实测反馈。