开发者近日在Reddit发布手机Agent应用Omi,宣称可让手机像人一样操作任意安卓应用,无需目标应用提供API或连接器。该开发者同时分享了Omi在端侧推理上的工程教训:初版用小模型充当“裁判”判断信息重要性时产生大量误报,改用EmbeddingGemma分类器后实现零误报。
技术路径:读屏元素而非截图
据开发者介绍,Omi通过Android无障碍API读取屏幕元素,而非依赖截图,由云端模型决定下一步点击或输入,循环执行直至完成任务。作者称,读元素比截图更快更省,定位按钮不再靠猜。
在架构上,决策模型暂部署在云端,记忆、搜索和聊天功能由端上2B模型承担,开发者计划未来将整体迁移到端侧。
现状:单应用较稳,跨应用与涉钱场景受限
开发者表示,Omi在单应用任务上已较稳定,但跨应用任务(如在一个应用找信息、在另一个应用操作)仍会出错。此外,银行类应用检测到无障碍服务会拒绝运行,涉钱场景被天然排除。
端侧推理教训:LLM裁判误报,分类器零误报
在另一条分享中,开发者介绍了构建全离线Android应用Omi的工程教训。该应用可读取消息、邮件、文档和照片,记住账单、截止日期等重要事项。初版使用小模型逐条判断信息重要性,产生9–30张误报卡片,且速度慢、耗电。
开发者随后改用EmbeddingGemma 2将每条消息、照片、文档一次性转成向量,再用自训的小分类头判断重要性。据其称,293行测试零误报,成本极低可全天后台运行,同一套向量还支撑语义搜索。
微调过的Qwen3.5 2B只负责回答提问和充电时的日常整理,聊天全部留在本机。
开发者还指出端侧推理瓶颈:在中端手机上,慢的不是生成而是读prompt,保持prompt短、复用KV缓存比换更快的模型更有效。
后续关注
Omi的云端决策模式与端侧迁移计划能否解决跨应用任务出错问题,以及无障碍API方案在银行等敏感应用中的适用边界,仍有待观察。开发者分享的端侧推理经验,也为手机Agent的工程实现提供了参考。
