用开源大模型驱动 AI 操作电脑桌面,配合 E2B 桌面沙箱安全执行点击、输入等操作,可替代 Claude 的闭源 computer-use 方案。
在 Apple 芯片 Mac 上本地运行的电脑操作代理,通过 macOS 无障碍 API 驱动,用 laya 做端侧决策、CUA-S1-FORMS 填表,无需云端。
让 AI 代理直接操控 macOS 桌面完成各类操作,靠系统辅助功能接口而非截图识别界面,还能自我学习并复用操作流程。