ServiceNow携AI精准定位技术，突破GUI自动化测试新进展

人工智能在图形用户界面自动化领域实现重要突破，由多家科研机构联合完成的研究推出了两项创新技术，显著提升了AI对界面元素的定位能力。这项成果解决了长期困扰该领域的关键难题，为开发更智能的自动化工具奠定了坚实基础。

现代数字生活中，人们每天都需要与各类软件界面互动，从手机应用到电脑程序，从网页浏览到专业软件操作。如果能让AI像人类一样精准识别并操作这些界面元素，将极大提高工作效率。然而现有技术要让AI在屏幕上准确定位按钮、文本框等组件，如同让从未见过地图的人在陌生城市中寻找特定建筑，难度极高。

研究团队发现，当前视觉语言模型在处理GUI定位任务时面临根本性挑战：如何将自然语言指令转化为精确的像素坐标。传统方法要求模型从抽象的视觉特征直接推断坐标位置，缺乏明确的空间参照，导致定位不可靠且泛化能力差。就像闭着眼睛的运动员投篮，或是习惯小操场的球员突然在标准场地比赛，准确率难以保证。

针对这些难题，科研人员开发了RULER技术。该技术通过在图像中引入特殊参考标记，为AI提供明确的空间坐标系统。这些标记编码了像素位置信息，使模型能参考最近的标记点进行精确定位，而非从零开始推测。实验表明，该技术大幅提升了定位稳定性，尤其在处理高分辨率界面时表现突出，即使面对训练时未见过的分辨率也能保持性能。

另一项创新I-MROPE技术则解决了位置编码的深层问题。传统方法在分配频率成分时存在不平衡，导致不同空间维度的建模能力差异显著。I-MROPE采用循环交替分配策略，确保每个维度都能获得完整的频率谱，从而在水平和垂直方向上具备同等精准的定位能力。这种改进不仅提升了GUI定位效果，还保持了与现有语言模型的兼容性。

研究团队在多个标准数据集上验证了新技术，结果显示定位准确率显著提升。特别是在高分辨率专业桌面应用的测试中，新方法将准确率从31.1%提升至37.2%。这种提升源于技术对空间信息的更有效处理：RULER提供了明确的参考框架，而I-MROPE则确保了各维度信息的均衡利用。

技术实现上，RULER以固定间隔设置参考标记，在性能和效率间取得平衡。即使在8K分辨率下，其计算开销也极小。I-MROPE则通过改进频率分配机制，无需调整现有模型架构即可集成。这些特性使得新技术具有很高的实用价值，可轻松应用于现有系统升级。

实验设计充分考虑了实际应用场景。研究人员采用两阶段训练策略，先进行视觉-语言对齐预训练，再进行特定领域微调。测试数据覆盖不同平台和分辨率的界面，评估指标严格模拟真实使用情况，要求预测点必须落在目标元素边界框内才算正确。这种严谨的设计确保了技术成果的可靠性。

这项研究不仅推动了GUI自动化技术的发展，也为其他需要精准空间定位的AI任务提供了新思路。其核心启示在于：通过引入明确的结构设计，而非单纯依赖数据驱动，可以构建更可靠、更高效的人工智能系统。随着技术进一步完善，未来可能出现能自动执行复杂操作流程的智能助手，大幅提升人机交互体验。

问：RULER技术如何提升AI定位能力？答：该技术通过在图像中添加编码像素坐标的参考标记，为AI提供明确的空间坐标系统。模型可参考最近的标记点进行精确定位，就像使用地图导航而非凭感觉猜测位置，显著提高了定位稳定性和跨分辨率泛化能力。

问：I-MROPE技术有什么独特优势？答：这项技术解决了传统位置编码的频率分配不平衡问题，通过循环交替分配策略确保每个空间维度都能获得完整的频率谱。这使得AI在处理界面元素时，水平和垂直方向的定位能力同样精准，且能与现有语言模型无缝集成。

问：这项研究对普通用户有何影响？答：研究成果将推动开发更智能的自动化工具，AI可能实现自动填写表格、批量处理文件等复杂操作。新技术适应不同分辨率设备的能力，意味着无论使用手机、平板还是4K显示器，都能获得稳定可靠的自动化服务，大幅提升工作效率。

免责声明

游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。

同类文章