本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。

基于 Meta Llama 3 开发的中文大模型项目，提供中文 LLaMA-3 和 Alpaca-3 模型及训练、部署方案，解决中文场景下开源大模型可用性问题。

Create chatbots with ease

用纯 Java 实现的 Llama 3 及后续版本推理引擎，无需原生依赖即可在 JVM 上跑大模型，适合 Java 项目直接集成。

从零手写支持 Llama2/3 和 Qwen2.5 的大模型推理框架，用 C++ 和 CUDA 实现，适合校招、秋招、春招和实习作为练手项目。

在终端里跑 AI 结对编程，让大模型直接读写本地代码库、自动改文件并提交 git，省去在编辑器和聊天窗口间来回粘贴。

基于 llama.cpp 的推理分支，针对 Ampere 架构 Nvidia 显卡（尤其 RTX 3090/3090 Ti）深度优化，在长上下文场景下显著提升生成速度，并支持低显存配置跑 200K 以上上下文。

在终端里直接调用 GPT、Llama、Ollama 等大模型，用自然语言生成并执行 shell 命令，省去查手册和拼参数的时间。

面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

一站式大模型训练框架，支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练，可用 LoRA 等 PEFT 方式或全参数微调。

一行代码就能把 GPT 换成任意开源大模型，统一推理 API 支持云端、本地和笔记本部署，覆盖语言、语音和多模态模型。

本地优先的深度研究问答系统，接 llama.cpp、Ollama 等本地或云端模型，聚合 arXiv、PubMed 及私有文档等十余个检索源，全程加密。

在 ComfyUI 里搭建 LLM Agent 的框架，接入 MCP、GraphRAG、语音合成与 OCR 节点，兼容 OpenAI 接口的各类模型和本地 GGUF 模型。

持续更新的中文大模型能力评测榜单，已收录374个商用与开源模型，并提供超200万条缺陷库，方便研究者横向对比模型表现、定位问题并改进。

给 Zotero 加 AI 助手的插件，能直接和 PDF 对话、全库检索文献，还带文献雷达和自动综述，支持 30 多种大模型或本地模型。

Fun-ASR 是支持 31 种语言和中文方言的语音识别模型，提供 Nano 轻量版，并支持 Transformers、FunASR、vLLM、llama.cpp 多种部署方式，可端侧运行。

自托管的生成式 AI 网页界面，集成 30 多种模型，覆盖图像、视频、音频生成，用浏览器就能统一调用，省去逐个搭建环境的麻烦。

基于 PyTorch 原生分布式训练的 LLM/VLM 训练库，开箱即用兼容 Hugging Face，方便微调 Llama、Gemma、GLM 等主流大模型。

一套基于 Jupyter Notebook 的大模型实战教程和示例脚本，覆盖 LangChain、OpenAI、LlamaIndex、ChromaDB、Pinecone 等主流工具，帮你快速上手 LLM 应用开发。

把大语言模型接入 spaCy 的结构化 NLP 流水线，用提示词完成命名实体识别等任务，无需训练即可复用现有流程。

纯 C 写的本地大模型推理引擎，靠 MoE 稀疏激活和 NVMe 流式加载，让 32GB 笔记本跑 80B 模型，速度全面超过 llama.cpp。

把 Qwen3-VL、Florence-2、InternVL 等视觉语言模型接进 ComfyUI 的节点包，顺带支持开放词表检测、SAM 分割、视频时序推理和 GGUF 量化加载。

极简的多模态大模型微调代码库，支持 LLaVA、Qwen-VL、Llama-3.2-Vision 等主流视觉语言模型，方便快速做指令微调实验。

在单台桌面机器上跑 100GB 级大模型的开源推理引擎，支持 AMD Strix Halo、NVIDIA RTX 和 Apple Mac，兼容 OpenAI API，基于 ExLlamaV3 构建。