统一加载和运行文本、视觉、音频、多模态的预训练模型，覆盖推理与训练，省去为每个模型重写代码的麻烦。

HuggingFace Transformers 库的实战教程合集，用 Jupyter Notebook 演示 BERT、GPT-2、LayoutLM、ViT 等模型的微调与推理，适合边跑边学。

基于下一尺度预测的自回归视觉生成模型，用GPT式架构做图像生成并击败扩散模型，代码简洁易用，附带缩放定律研究。

MambaVision 是 CVPR 2025 提出的混合 Mamba-Transformer 视觉骨干网络，用 PyTorch 实现，可直接用于图像分类、目标检测和分割等视觉任务。

Infinity 是一个用位级自回归建模做高分辨率图像生成的模型，把 GPT 式架构扩展到视觉生成，解决高分辨率文生图的质量和扩展性问题。

《Transformers for NLP and Computer Vision》第三版配套代码，用 Jupyter Notebook 演示 BERT、CLIP、DALL·E 3、GPT-4o、Gemini 等模型在 NLP、视觉和 RAG 任务中的实战用法。

从零手写实现 AI 工程核心组件的实战课程，覆盖智能体、大模型、计算机视觉与深度学习，边学边构建可交付的项目。

收录最全的 PyTorch 图像骨干网络合集，涵盖 ResNet、ViT、ConvNeXt 等主流模型，自带训练、评估、推理和导出脚本及预训练权重，省去自己搭网络和找权重的麻烦。

基于 PyTorch 的目标检测工具箱与基准库，集成了 Faster R-CNN、DETR、Grounding DINO 等主流模型，方便训练、评测和复现检测与分割算法。

用 PyTorch 实现的 Vision Transformer（ViT），只需一个 Transformer 编码器就能在图像分类任务上达到 SOTA，代码简洁易读，适合快速复现和二次开发。

PyTorch 上的 Grad-CAM 系列可视化工具，支持 CNN 和 Vision Transformer，可用于分类、检测、分割、图像相似度等任务的模型可解释性分析。

基于 PyTorch 的语义分割模型库，提供 500+ 预训练卷积与 Transformer 骨干网络，开箱即用，省去自己搭建和训练分割模型的麻烦。

把 PDF、图片、音视频等各种格式的数据统一解析成结构化文本，方便直接喂给 GenAI 框架和 RAG 流程使用。

把训练好的深度学习模型优化并部署到 Intel CPU、GPU 等硬件上做推理，支持视觉、LLM 和生成式模型，省去自己折腾底层加速的麻烦。

在 Mac 上基于 Apple Silicon 用 MLX 跑视觉语言模型的推理与微调工具包，支持 LLaVA、Pixtral、Florence2 等多种 VLM，本地即可完成多模态任务。

用 ML、LLM 和视觉大模型从文档、表单、发票等非结构化数据里抽取结构化字段，并支持指令调用和智能体工作流。

基于 JAX 的计算机视觉研究库，提供注意力机制、Transformer 和 Vision Transformer 等模型实现，方便快速搭建和复现视觉研究实验。

中文版 CLIP 预训练模型，支持中文图文跨模态检索和表征生成，可直接用于图文匹配、零样本分类等任务。

给 DeepSeek、GLM 等纯文本编码助手外挂视觉能力的插件，粘贴图片即可输出包含 OCR、版面和语义的结构化 JSON 证据。

面向高分辨率生成与感知的高效视觉基础模型，通过轻量架构设计降低计算开销，可用于图像分类、分割等任务。

面向任意结构剪枝的通用框架，支持 LLM、视觉基础模型和 Transformer 等，用依赖图自动处理层间耦合，省去手工设计剪枝策略。

面向日文漫画的 OCR 工具，能识别漫画中的对话气泡和拟声词等文字，基于 Transformers 实现，适合做漫画翻译或文本提取。

一站式微调多模态模型的工具，支持 PaliGemma 2、Florence-2、Qwen2.5-VL 等，覆盖图像描述、目标检测和视觉问答任务，省去手写训练脚本的麻烦。

给纯 ViT 主干加上轻量适配器，无需重设计结构就能做目标检测和语义分割等密集预测任务，ICLR 2023 Spotlight 工作。

阿里通义实验室 OCR 团队维护的文档智能算法集合，涵盖端到端 OCR、文档理解与多模态文档分析，帮开发者处理复杂文档识别任务。

一站式视觉模型训练工具，支持 YOLO、ViT、RT-DETR、DINOv3 等模型的预训练、微调与知识蒸馏，省去自己搭训练流程的麻烦。

基于 Retinex 理论的一阶段 Transformer 低光照图像增强模型，ICCV 2023 高被引工作，可直接用于夜间图像提亮与下游检测任务。

轻量级多模态模型库，能同时理解多语言文本和图像，速度比 OpenAI CLIP 和 LLaVA 快 5 倍，适合做图文检索和内容生成。

免训练稀疏注意力方案，可直接接入任意模型推理，加速 LLM、视觉 Transformer 和视频生成，无需重新训练即可降低注意力计算开销。

面向开发者的模型优化框架，能对扩散模型、LLM、语音识别等模型做压缩加速，以极低改造成本换来更快、更省资源的推理。

FasterViT 是 NVIDIA 提出的高效视觉主干网络，通过分层注意力机制在 ImageNet 分类、COCO 检测和 ADE20K 分割上兼顾精度与推理速度。

Alpha-CLIP 是 CVPR 2024 提出的 CLIP 改进模型，通过引入 alpha 通道掩码让视觉语言模型能聚焦图像中指定区域，解决传统 CLIP 无法控制关注位置的问题。

在 Apple Silicon Mac 上原生微调大模型的工具，基于 MLX 支持 SFT、DPO、GRPO 以及视觉、语音、OCR 等多模态训练，API 兼容 Unsloth。

一套从零到精通 AI 工程的中文学习路径，20 个阶段 542 节课，配动画讲解视频和配套站点，帮人系统成长为 AI Agent 工程师。

只用 ViT 编码器做图像分割的官方实现，省去解码器和额外适配模块，在实例、全景分割任务上兼顾精度与推理速度。

基于结构感知的稀疏视角 X 射线三维重建工具箱，用 Transformer 和 NeRF 从少量 X 光片重建 CT 体积并合成新视角，降低辐射采样需求。

基于预训练模型的持续学习工具箱，集成多种增量学习与终身学习算法，方便在视觉和视觉语言模型上做可复现的持续学习实验。

X-VLA 是 ICLR 2026 论文的官方实现，用软提示 Transformer 构建可扩展的跨具身视觉-语言-动作模型，让同一套策略能迁移到不同机器人本体上做操作任务。

VideoPrism 是 DeepMind 开源的视频理解基础视觉编码器，用自监督学习预训练，可直接抽取视频特征，支撑分类、检索、问答等下游任务。

LViT 把文本描述引入视觉 Transformer，做医学图像分割，用语言信息弥补标注数据不足，提升分割精度。