SANA 是英伟达开源的高效扩散生成模型与配套训练推理引擎,支持文生图、文生视频和世界模型,用线性注意力和 NVFP4 量化在低显存下实现快速生成。
一站式 WebUI,基于 Diffusers 和 PyTorch 统一完成 AI 图像与视频生成、打标和后期处理,省去在多个工具间切换的麻烦。
Eagle 是一系列前沿视觉语言模型,主打以数据为中心的训练策略,能看图理解并回答多模态问题,适合做图文问答和视觉理解研究。
给图像和视频的指定区域生成详细描述的多模态模型,支持局部定位的细粒度 captioning,适合需要精确区域理解与描述的场景。
NVIDIA 开源的扩散模型加速生成方案,用一致性模型、分布匹配蒸馏和流映射等蒸馏技术,把扩散模型的多步采样压缩到极少步数,显著提升出图速度。
面向具身智能的一站式 VLA 工程平台,打通数据、模型训练到真机部署全流程,省去自己拼装工具链的麻烦。
无需训练的长篇故事可视化迭代框架,通过多轮迭代生成保持角色与情节一致的故事配图,解决长文本生成图像时前后不一致的问题。
DoRA 是一种把权重分解为幅度和方向两部分再做低秩适配的微调方法,用更少的可训练参数逼近全量微调效果,适合大模型和视觉语言模型的高效微调。
X-VLA 是 ICLR 2026 论文的官方实现,用软提示 Transformer 构建可扩展的跨具身视觉-语言-动作模型,让同一套策略能迁移到不同机器人本体上做操作任务。
OmniVinci 是英伟达开源的全模态大模型,能同时理解视觉、音频和语言三种输入,适合做多模态联合推理与训练研究。
FasterViT 是 NVIDIA 提出的高效视觉主干网络,通过分层注意力机制在 ImageNet 分类、COCO 检测和 ADE20K 分割上兼顾精度与推理速度。
QeRL 通过量化让强化学习训练 32B 大模型只需单张 H100 显卡,大幅降低大模型 RL 微调的显存门槛。
面向通用机器人策略的空间引导视觉-语言-动作框架,把视觉语言模型和动作输出打通,让机器人能按空间指令执行操作任务。
面向视觉-语言-动作模型(VLA)的可复现开源研究项目,聚焦目标跟踪类 VLA,提供训练与评测代码,方便复现和对比实验结果。
基于 llama.cpp 和 GGUF 的 VLA 模型统一推理运行时,用 C++ 实现,支持量化部署,让机器人视觉-语言-动作模型能在本地高效跑起来。
把视觉预训练扩展到 4K 分辨率,让视觉语言模型在高清图像上也能高效训练和推理。
NVIDIA Alpamayo 的开发者配方库,提供自动驾驶与机器人模型的微调、强化学习后训练、量化和部署现成方案,省去从零搭建流程的麻烦。
面向机器人导航的开源平台,用多模态大模型和视觉语言动作模型构建通用导航基础模型,解决跨场景视觉导航与空间智能问题。
统一的世界模型代码库,整合扩散模型、高斯泼溅、3D 场景生成与视频编辑等能力,方便研究和复现各类世界模型。
面向 NVIDIA GPU 和昆仑 XPU 的大模型训练框架,覆盖 LLM、VLM、扩散模型和具身模型,支持 LoRA、预训练、SFT 与中期训练,开箱即用适配 DeepSeek、GLM、Kimi 等主流模型。
每天自动汇总 arXiv 上 VLN、VLA、世界模型、SLAM、高斯泼溅与非线性优化等具身智能方向的最新论文,方便快速跟进前沿进展。
一个 4B 参数的视觉定位基础模型,把检测、指代、指向、OCR、GUI 和版面定位统一到一个模型里,在 34 个基准上达到 SOTA,并提升机器人泛化和数据效率。
面向多轮视觉语言模型智能体的世界模型强化学习框架,让 VLM Agent 在交互中通过 RL 训练提升多轮决策能力。
仅靠视觉输入就能完成闭环自动驾驶的视觉-语言-动作模型,把语言理解和驾驶动作对齐,在 CARLA 里做端到端评测。
面向机器人的智能体操作系统,用 Rust 编写,把 VLM/VLA 模型和 Skill-MD 技能编排成可执行任务,让机器人具备自主决策与操作能力。
面向物理 AI 机器人的厂商无关智能体框架,基于 ROS 2 工具执行复杂动作、场景任务、自由接口调用、日志摘要和语音交互。
RISE 用组合式世界模型让机器人策略自我进化,通过生成模型与价值学习提升操作任务表现,适合研究机器人学习与 VLA 的团队。
面向物理 AI 的命令行工具,把 VLA、VLM、WAM 等机器人多模态模型串起来,方便在 NVIDIA、Nebius 环境里做模型部署和对话机器人调试。
汇总自动驾驶领域的视觉-语言-动作(VLA)模型资源,梳理其发展脉络与未来方向,方便快速了解该方向的研究与落地进展。
汇总大语言模型、视觉语言模型、视觉-语言-动作模型和世界模型在自动驾驶领域的研究资源清单,持续更新,方便快速找到相关论文与项目。
汇集大模型、视觉语言模型、视觉语言动作模型与 AIGC 相关的优质开源项目、数据集和应用,帮开发者快速找到所需资源。
…ntributors). <!-- lang:zh -- 功能 - 将 GPUStack(一个自托管模型服务器)添加到了 Add 工作表中。 安装 从 [usemagpie.ai](https://usemagpie.ai) 下载,或运行 curl -fsSL https://usemagpie.ai/install.sh sh 。已安装
…键插入)与独立标签栏行;AI 设置支持全量 OpenAI 兼容服务商自动拉取 /v1/models 模型下拉列表;文件树支持「使用默认应用打开」与过滤菜单「显示隐藏文件」;修复列表下方空行 Tab 缩进、跨视图切换 Ctrl+Z 撤销、平板竖屏菜单互斥关闭及同步设置导航精简。 🌐 What's New - Spreadsheet-lik
…并前接缝声音没有保住时,错误文字写出是哪几个接缝、什么原因;接合过程中,面板显示正在写第几段。 - 模型下载:因可用内存不足暂停后,已同意的重下现在改走流式下载,不再再次暂停;校验记录损坏时按空记录处理并重写。 - Linux:内存 8 GB、可用约 3\.6 GiB 的电脑现在能生成,不再被拒绝。 - 配乐:生成的配乐以所写描述为准,不
…ice ( 1238,@zhaojun1998); Responses WebSocket 会话切换模型时会释放固定的凭据( 1162,@RUIIIOVO)。 5. 性能 Codex 流量大时,CPU 主要花在大请求体上。 密钥脱敏只遍历一次请求就找出所有要遮的字段( 1269)。 发往 Codex 的 Chat Completions
…ilot 自己的 providers.json ,在 copilot 里用 /model 就能和官方模型一起选,不用经过 CC Switch。界面新增韩语和俄语,七种语言从此同步维护,不再有缺的地方显示英文。 另外修复了 Windows 上 Codex 桌面版在 WSL 里运行 Codex 时,用第三方供应商启动就报错;Codex 新对话
…「复制 WikiLink」,一键复制 [[文档名]] 格式引用。 - AI 长文能力 — 上下文超出模型窗口时自动先舍引用笔记再截断正文;生成被截断时自动接续补全;推理过程混入正文的厂商兼容问题修复。 ♻️ 优化 - 界面无障碍 — 全应用下拉菜单支持方向键循环导航、Esc 关闭归还焦点、键盘打开;视觉为屏幕阅读器正确播报当前选中项。 -