统一加载和运行文本、视觉、音频、多模态的预训练模型,覆盖推理与训练,省去为每个模型重写代码的麻烦。
HuggingFace Transformers 库的实战教程合集,用 Jupyter Notebook 演示 BERT、GPT-2、LayoutLM、ViT 等模型的微调与推理,适合边跑边学。
在浏览器里直接跑 Hugging Face 的 Transformer 模型,不用后端服务器,前端就能做文本、视觉等机器学习推理。
汇总 Transformer 在视觉目标跟踪任务中的论文清单,覆盖 CVPR、ECCV、ICCV、NeurIPS 等顶会工作,方便快速跟进该方向的研究进展。
《Transformers for NLP and Computer Vision》第三版配套代码,用 Jupyter Notebook 演示 BERT、CLIP、DALL·E 3、GPT-4o、Gemini 等模型在 NLP、视觉和 RAG 任务中的实战用法。
基于下一尺度预测的自回归视觉生成模型,用GPT式架构做图像生成并击败扩散模型,代码简洁易用,附带缩放定律研究。
PyTorch 上的 Grad-CAM 系列可视化工具,支持 CNN 和 Vision Transformer,可用于分类、检测、分割、图像相似度等任务的模型可解释性分析。
在 Mac 上基于 Apple Silicon 用 MLX 跑视觉语言模型的推理与微调工具包,支持 LLaVA、Pixtral、Florence2 等多种 VLM,本地即可完成多模态任务。
用 ML、LLM 和视觉大模型从文档、表单、发票等非结构化数据里抽取结构化字段,并支持指令调用和智能体工作流。
从零手写实现 AI 工程核心组件的实战课程,覆盖智能体、大模型、计算机视觉与深度学习,边学边构建可交付的项目。
收录最全的 PyTorch 图像骨干网络合集,涵盖 ResNet、ViT、ConvNeXt 等主流模型,自带训练、评估、推理和导出脚本及预训练权重,省去自己搭网络和找权重的麻烦。
用 PyTorch 实现的 Vision Transformer(ViT),只需一个 Transformer 编码器就能在图像分类任务上达到 SOTA,代码简洁易读,适合快速复现和二次开发。
一套统一接口搞定 100+ 大语言模型和多模态模型的微调,支持 LoRA 等高效训练方式,省去为每个模型单独写训练脚本的麻烦。
基于苹果 MLX 框架的语音处理库,在 Apple Silicon 上高效完成语音合成、语音识别和语音转换,适合本地跑多模态语音任务。
用 100 多张原创原理图把 LLM 和强化学习的关键算法讲清楚,适合想系统理解大模型训练与 RL 机制的人对照学习。
基于 Ray 的高性能 RLHF 训练框架,支持 PPO、DAPO、REINFORCE++ 等算法与 vLLM 推理加速,可扩展地完成大模型和视觉语言模型的对齐后训练。
阿里云通义团队开源的多模态大模型系列,能同时理解图像和文本,用于视觉问答、图文推理等视觉语言任务。
把训练好的深度学习模型优化并部署到 Intel CPU、GPU 等硬件上做推理,支持视觉、LLM 和生成式模型,省去自己折腾底层加速的麻烦。
一套可复用的计算机视觉工具库,提供目标检测、实例分割、分类等任务的标注处理、指标计算与可视化组件,帮开发者省去重复造轮子的时间。
开源多模态大模型家族,视觉语言能力接近 GPT-4o,支持图像分类、图文检索、语义分割和视频理解等任务。
汇总深度学习、强化学习、计算机视觉和 NLP 等方向的优质公开课与讲座资源,适合系统入门或查漏补缺。
单次前向传播即可对任意文本做类型化选择、打分和是非判断的非自回归决策引擎,支持100多种语言,并按请求自动路由到合适的检查点。
基于 JAX 的计算机视觉研究库,提供注意力机制、Transformer 和 Vision Transformer 等模型实现,方便快速搭建和复现视觉研究实验。
给 DeepSeek、GLM 等纯文本编码助手外挂视觉能力的插件,粘贴图片即可输出包含 OCR、版面和语义的结构化 JSON 证据。
面向高分辨率生成与感知的高效视觉基础模型,通过轻量架构设计降低计算开销,可用于图像分类、分割等任务。
MambaVision 是 CVPR 2025 提出的混合 Mamba-Transformer 视觉骨干网络,用 PyTorch 实现,可直接用于图像分类、目标检测和分割等视觉任务。
一站式微调多模态模型的工具,支持 PaliGemma 2、Florence-2、Qwen2.5-VL 等,覆盖图像描述、目标检测和视觉问答任务,省去手写训练脚本的麻烦。
面向任意结构剪枝的通用框架,支持 LLM、视觉基础模型和 Transformer 等,用依赖图自动处理层间耦合,省去手工设计剪枝策略。
封神榜大模型是 IDEA 研究院开源的中文大模型体系,提供预训练模型、分布式训练和多模态能力,为中文 AIGC 与认知智能应用提供基础模型支撑。
一站式视觉模型训练工具,支持 YOLO、ViT、RT-DETR、DINOv3 等模型的预训练、微调与知识蒸馏,省去自己搭训练流程的麻烦。
把 DINOv3 的强表征能力引入实时目标检测,DEIMv2 在保持实时推理速度的同时显著提升检测精度,适合需要快速部署的目标检测场景。
Infinity 是一个用位级自回归建模做高分辨率图像生成的模型,把 GPT 式架构扩展到视觉生成,解决高分辨率文生图的质量和扩展性问题。
轻量级多模态模型库,能同时理解多语言文本和图像,速度比 OpenAI CLIP 和 LLaVA 快 5 倍,适合做图文检索和内容生成。
Alpha-CLIP 是 CVPR 2024 提出的 CLIP 改进模型,通过引入 alpha 通道掩码让视觉语言模型能聚焦图像中指定区域,解决传统 CLIP 无法控制关注位置的问题。
给纯 ViT 主干加上轻量适配器,无需重设计结构就能做目标检测和语义分割等密集预测任务,ICLR 2023 Spotlight 工作。
基于预训练模型的持续学习工具箱,集成多种增量学习与终身学习算法,方便在视觉和视觉语言模型上做可复现的持续学习实验。
把草图或科学图表图片自动转成可编辑的 TikZ/LaTeX 绘图代码,省去手写矢量图代码的麻烦。
FasterViT 是 NVIDIA 提出的高效视觉主干网络,通过分层注意力机制在 ImageNet 分类、COCO 检测和 ADE20K 分割上兼顾精度与推理速度。
阿里通义实验室 OCR 团队维护的文档智能算法集合,涵盖端到端 OCR、文档理解与多模态文档分析,帮开发者处理复杂文档识别任务。