有趣的事

GroundGUI 实现 AI 屏幕精准点击定位,该技术大规模落地有哪些难点?

GroundGUI 这类“看屏幕、找目标、再点击”的能力,难点不只是把文字映射成一个坐标,而是要在不断变化的界面中可靠地完成闭环操作。

首先是定位的鲁棒性。按钮可能很小、被遮挡、处于滚动区域或弹窗中;同一控件会因窗口尺寸、缩放比例、主题、语言和页面布局变化而改变位置。模型还需要区分外观相似的图标、列表中的同名项目,以及“删除”“提交”等后果不同的操作,不能仅凭大致视觉相似就点击。

其次是时序与状态。截图到点击之间,页面可能正在加载、动画尚未结束,或内容已刷新;点击后也要确认是否真的进入了预期状态。实际系统通常需要把识别、动作和结果验证串成循环,并在页面变化时重新观察,而不是一次预测整串坐标。等待策略、重试和超时处理都会影响速度与成功率。

规模化还面临设备和应用差异:不同分辨率、DPI、浏览器缩放、远程桌面压缩、原生应用控件及无障碍树的可用程度,都可能让同一套定位逻辑表现不同。纯视觉方案覆盖面广,但容易受遮挡和视觉歧义影响;结合 DOM 或无障碍信息往往更精确,却依赖应用环境并增加集成成本。

安全性和可评估性同样关键。误点可能造成不可逆操作或泄露信息,因此高影响动作应要求更高置信度、二次确认或受限权限,并提供可审计的动作记录。测试不能只统计“坐标离目标多近”,还要衡量任务是否完成、误操作率、恢复能力、延迟,并覆盖不同应用和界面变化。真正落地通常需要模型定位与传统控件信息、状态校验、失败回退及风险控制协同工作。

相关阅读