单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案，通过逐层加载权重把显存需求压到极低，适合本地低配设备部署大模型。
用 PyTorch 从零实现的轻量级 vLLM，代码精简易读，适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。
面向春招秋招的大模型面试知识库，用通俗方式讲清 LLM、RAG 和 Agent 核心概念，帮你在面试前快速补齐基础、和面试官聊得起来。
把 DeepSeek、Llama 等开源大模型一键部署成兼容 OpenAI 的 API 服务，省去自己搭推理后端的麻烦。
用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。
用小型专用模型搭建企业级 RAG 流水线的统一框架，覆盖文档解析、检索和智能体编排，适合在本地或私有环境部署。
通用大模型部署引擎，借助机器学习编译技术把 LLM 高效跑在各种硬件上，从手机到服务器都能用。
O'Reilly《Hands-On Large Language Models》官方配套代码，用 Jupyter Notebook 带你动手跑通大模型的分词、嵌入、提示工程、微调与 RAG 等核心环节。
基于 OpenTelemetry 的 LLM 应用可观测性工具，能追踪调用链、采集指标并监控模型表现，帮你在生产环境定位 GenAI 应用的性能与质量问题。
用大语言模型把编译后的二进制代码还原成可读源码，为逆向工程提供自动化反编译能力。
用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。
给 AI 编程助手实时提供最新版本文档的 MCP 服务，解决大模型训练数据过时、写代码时引用旧 API 的问题。
基于知识图谱的模块化检索增强生成系统，把文档抽成实体关系图，让大模型在回答复杂问题时能跨文档做全局推理。
微软出品的 21 节生成式 AI 入门课程，用 Jupyter Notebook 带你从零理解大模型、提示工程和 ChatGPT 应用开发。
OpenAI Whisper 语音识别模型的 C/C++ 移植版，无需 Python 和 GPU 依赖，在普通 CPU 上就能跑语音转文字。
基于节点图的扩散模型图形界面与后端，支持本地快速推理和 API 调用，方便搭建和调试图像生成工作流。
基于 Langchain 和 ChatGLM、Qwen、Llama 等本地大模型搭建的知识库问答应用，支持 RAG 检索增强与 Agent 能力，可离线部署私有文档问答系统。
用微信聊天记录微调大模型，打造说话像你、记得你的个人 AI 分身，支持接入 Telegram 等聊天平台。
开源的 Python 库，让大模型直接操控浏览器完成点击、填表、抓取等网页任务，省去手写 Playwright 脚本的麻烦。
把整个代码仓库打包成单个 AI 友好文件，方便直接喂给 ChatGPT、Claude 等大模型做代码理解与分析。
ERNIE 4.5 系列大模型与配套的工业级开发工具包 ERNIEKit，基于 PaddlePaddle，支持大语言模型和多模态模型的训练、微调与推理部署。
用大模型智能体做量化交易，支持多智能体协作、策略回测和 MCP 接入，让个人也能搭起自己的自动交易助手。
让大模型自主拆解目标、调用工具并连续执行任务的智能体平台，提供可视化搭建与运行环境，帮你把重复性工作交给 AI 自动完成。
基于 MCP 协议、跑在 ESP32 上的聊天机器人固件，让单片机也能接入大模型对话与工具调用。
在任意网址前加上 https://r.jina.ai/ 前缀，就能把网页转成适合大模型读取的干净文本，省去自己写爬虫和清洗正文的麻烦。
在浏览器里直接跑 Hugging Face 的 Transformer 模型，不用后端服务器，前端就能做文本、视觉等机器学习推理。
用 LLM 从非结构化文本中抽取结构化信息，并给出精确的原文出处定位和交互式可视化，方便核对抽取结果。
分布式 AI 计算引擎，提供核心分布式运行时和一组 AI 库，用来加速机器学习负载、大模型推理与超参搜索。
在 LLaMA/Alpaca 基础上扩充中文词表并做中文增量预训练，提供可本地 CPU/GPU 部署的中文大模型及 LoRA 微调、量化方案。
LMDeploy 是面向大模型的高效推理与服务工具包，支持模型压缩、部署和在线服务，内置 TurboMind 推理引擎和 CUDA 算子，可加速 Llama、InternLM 等模型的推理。
阿里云通义团队开源的多模态大模型系列，能同时理解图像和文本，用于视觉问答、图文推理等视觉语言任务。
给编码 Agent 用的代理和技能，让模型用「原始人式」极简表达回答，砍掉约 65% 的 token 消耗。
开源的 LLM 可观测性与评测平台，能追踪、调试和评估 RAG 与 Agent 应用，帮团队定位大模型链路中的问题。
开源企业级智能体平台，可快速搭建基于知识库的问答助手和 Agent，支持接入 DeepSeek、Llama 等大模型与 MCP 工具。
MiniCPM-V 是面壁智能开源的多模态视觉语言模型，能在手机、PC 等本地设备上完成看图、听音和对话交互，无需依赖云端。
一行代码就能把 GPT 换成任意开源大模型，统一推理 API 支持云端、本地和笔记本部署，覆盖语言、语音和多模态模型。
OpenAI 开源的通用语音识别模型，基于大规模弱监督训练，支持多语言转写、翻译和语种识别，开箱即用。
从零手搓大模型全链路的教学项目，涵盖 Transformer、LLaMA、Qwen、RAG、Agent 和扩散模型，帮学习者拆开白盒子理解每个环节的实现细节。