開發者近日在Reddit發佈手機Agent應用Omi,宣稱可讓手機像人一樣操作任意安卓應用,無需目標應用提供API或連接器。該開發者同時分享了Omi在端側推理上的工程教訓:初版用小模型充當“裁判”判斷信息重要性時產生大量誤報,改用EmbeddingGemma分類器後實現零誤報。

技術路徑:讀屏元素而非截圖

據開發者介紹,Omi通過Android無障礙API讀取屏幕元素,而非依賴截圖,由雲端模型決定下一步點擊或輸入,循環執行直至完成任務。作者稱,讀元素比截圖更快更省,定位按鈕不再靠猜。

在架構上,決策模型暫部署在雲端,記憶、搜索和聊天功能由端上2B模型承擔,開發者計劃未來將整體遷移到端側。

現狀:單應用較穩,跨應用與涉錢場景受限

開發者表示,Omi在單應用任務上已較穩定,但跨應用任務(如在一個應用找信息、在另一個應用操作)仍會出錯。此外,銀行類應用檢測到無障礙服務會拒絕運行,涉錢場景被天然排除。

端側推理教訓:LLM裁判誤報,分類器零誤報

在另一條分享中,開發者介紹了構建全離線Android應用Omi的工程教訓。該應用可讀取消息、郵件、文檔和照片,記住賬單、截止日期等重要事項。初版使用小模型逐條判斷信息重要性,產生9–30張誤報卡片,且速度慢、耗電。

開發者隨後改用EmbeddingGemma 2將每條消息、照片、文檔一次性轉成向量,再用自訓的小分類頭判斷重要性。據其稱,293行測試零誤報,成本極低可全天後台運行,同一套向量還支撐語義搜索。

微調過的Qwen3.5 2B只負責回答提問和充電時的日常整理,聊天全部留在本機。

開發者還指出端側推理瓶頸:在中端手機上,慢的不是生成而是讀prompt,保持prompt短、復用KV緩存比換更快的模型更有效。

後續關注

Omi的雲端決策模式與端側遷移計劃能否解決跨應用任務出錯問題,以及無障礙API方案在銀行等敏感應用中的適用邊界,仍有待觀察。開發者分享的端側推理經驗,也為手機Agent的工程實現提供了參考。