基于多模态大模型的 GUI 智能体家族,能看懂手机和电脑界面并自动点击操作,帮你完成跨 App 的自动化任务。
开源的端到端视觉语言模型 GUI 智能体,能看懂屏幕截图并直接操作图形界面,帮你自动完成电脑上的点击、输入等交互任务。
用游戏当测试场来评估 LLM/VLM 智能体的框架,提供可复现的游戏环境和评测流程,方便对比不同模型在交互决策上的表现。
开源的安卓手机 GUI 智能体,能自动操作手机界面完成任务,支持 AndroidWorld/AndroidLab 评测,并带分层反思和主动探索机制。
把前沿 Transformer 模型接入机器人技术栈的 Python 库,支持多模态与扩散模型,帮具身智能开发者快速搭建可感知、可决策的智能体。
微软开源的前沿电脑操作智能体模型系列,让 AI 直接操控浏览器和桌面界面完成点击、输入等任务,省去为每个网站单独写自动化脚本。
一个能自主感知上下文的桌面 AI 伴侣,通过实时屏幕视觉、窗口追踪和 ONNX 语音合成,配合带表情的悬浮界面与你互动。
在真实操作系统环境里评测多模态智能体的基准平台,支持开放式任务,覆盖 GUI 操作、命令行和代码生成等场景。
开源复现并扩展 Google Research 的 PaperBanana,用多智能体自动生成学术论文配图、示意图和研究可视化,还能做幻灯片。
安卓端全场景 GPT 助手,按音量键即可唤起语音对话,支持联网、拍照、附件解析和智能体模式,让手机随时变成随身 AI 助理。
基于 GPU 加速的视频分析智能体参考架构,用视觉语言模型、LLM 和 RAG 实现长视频的实时告警、视觉问答与自动报告生成。
让 AI 通过无障碍服务看懂手机界面并自动点击操作真实 App 的 Android GUI Agent 框架,可用于构建手机端自动化助手。
在多种虚拟游戏世界中继续预训练视觉语言模型,打造能跨游戏泛化的具身智能体,并公开模型权重。
在浏览器里跑安卓模拟器,为移动 GUI 智能体提供可验证、高并发的评测与在线强化学习训练环境。
面向多轮视觉语言模型智能体的世界模型强化学习框架,让 VLM Agent 在交互中通过 RL 训练提升多轮决策能力。
面向机器人的智能体操作系统,用 Rust 编写,把 VLM/VLA 模型和 Skill-MD 技能编排成可执行任务,让机器人具备自主决策与操作能力。
面向物理 AI 机器人的厂商无关智能体框架,基于 ROS 2 工具执行复杂动作、场景任务、自由接口调用、日志摘要和语音交互。
一个能自我进化的照片编辑智能体,通过编辑器和评估器协同优化,让多模态大模型学会像修图师一样自动调色和修图。
在 Android 手机上运行的 AI 智能体运行时,通过无障碍服务操控手机、自动操作 App、用视觉模型读屏,并支持技能路由与 Mihomo 代理工作流。
OSWorld 2.0 是一个评测基准,专门衡量计算机操作智能体在长周期真实任务中的表现,帮研究者检验模型能否连续完成多步桌面操作。
在 Apple Silicon Mac 上本地运行 Phi-3、Phi-3.5 和 Phi-4 视觉与语言模型,基于 MLX 和 Metal 加速,支持微调、LoRA 与多智能体编排。
收录 100+ 人格蒸馏技能的开源合集,覆盖名人、导演、古籍、二次元、职场等品类,可直接接入多 Agent 系统为智能体赋予角色化对话能力。