开源本地 AI 推理引擎，无需 GPU 即可在任意硬件上跑 LLM、视觉、语音和图像生成模型，提供兼容 OpenAI 的 API。
从零用 PyTorch 一步步实现类 ChatGPT 大语言模型，覆盖注意力机制、预训练、指令微调全流程，适合边跑代码边理解 LLM 内部原理。
用 PyTorch 从零实现的轻量级 vLLM，代码精简易读，适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。
把 DeepSeek、Llama 等开源大模型一键部署成兼容 OpenAI 的 API 服务，省去自己搭推理后端的麻烦。
统一调用 100+ 家 LLM API 的 AI 网关，用 OpenAI 格式或原生格式接入，自带成本追踪、限流护栏、负载均衡和日志。
用小型专用模型搭建企业级 RAG 流水线的统一框架，覆盖文档解析、检索和智能体编排，适合在本地或私有环境部署。
单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案，通过逐层加载权重把显存需求压到极低，适合本地低配设备部署大模型。
O'Reilly《Hands-On Large Language Models》官方配套代码，用 Jupyter Notebook 带你动手跑通大模型的分词、嵌入、提示工程、微调与 RAG 等核心环节。
通用大模型部署引擎，借助机器学习编译技术把 LLM 高效跑在各种硬件上，从手机到服务器都能用。
本地优先的深度研究问答系统，接 llama.cpp、Ollama 等本地或云端模型，聚合 arXiv、PubMed 及私有文档等十余个检索源，全程加密。
用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。
面向春招秋招的大模型面试知识库，用通俗方式讲清 LLM、RAG 和 Agent 核心概念，帮你在面试前快速补齐基础、和面试官聊得起来。
基于 OpenTelemetry 的 LLM 应用可观测性工具，能追踪调用链、采集指标并监控模型表现，帮你在生产环境定位 GenAI 应用的性能与质量问题。
面向全模态模型的高效推理框架，支持图像、视频、音频生成与多模态模型服务，基于 PyTorch 提供统一的推理与部署能力。
用大语言模型把编译后的二进制代码还原成可读源码，为逆向工程提供自动化反编译能力。
用多个 LLM 智能体分工协作模拟金融交易决策，把研究、分析、下单等环节拆给不同角色，适合做量化交易策略的智能体实验。
统一加载和运行文本、视觉、音频、多模态的预训练模型，覆盖推理与训练，省去为每个模型重写代码的麻烦。
把 PDF、Office 等复杂文档转成 LLM 可直接用的 Markdown/JSON，内置版面分析和 OCR，专为 RAG 与 Agent 工作流准备语料。
一套从数据工程、模型训练到部署迭代的完整教程，帮你把机器学习项目做成可上线的生产级应用。
用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。
给 AI 编程助手实时提供最新版本文档的 MCP 服务，解决大模型训练数据过时、写代码时引用旧 API 的问题。
基于知识图谱的模块化检索增强生成系统，把文档抽成实体关系图，让大模型在回答复杂问题时能跨文档做全局推理。
把任意网页抓取并转成干净 Markdown 或结构化数据，直接喂给 LLM 和 AI Agent，省去自己写爬虫和清洗的麻烦。
完全离线运行的 Python 多智能体框架，面向高监管团队和想在本地跑 AI 的人，不用联网也能搭建智能体。
微软出品的 21 节生成式 AI 入门课程，用 Jupyter Notebook 带你从零理解大模型、提示工程和 ChatGPT 应用开发。
基于 Langchain 和 ChatGLM、Qwen、Llama 等本地大模型搭建的知识库问答应用，支持 RAG 检索增强与 Agent 能力，可离线部署私有文档问答系统。
用 Python 搭建 LLM 应用和智能体的开发框架，把模型调用、工具、检索和记忆串成可组合的链路，省去自己拼装底层胶水代码。
社区共建的提示词分享与发现平台，可自托管部署，让团队在完全私密的环境里收集和管理 ChatGPT、Claude、Gemini 等模型的提示词。
开源的 LLM 可观测性与评测平台，能追踪、调试和评估 RAG 与 Agent 应用，帮团队定位大模型链路中的问题。
让大模型自主拆解目标、调用工具并连续执行任务的智能体平台，提供可视化搭建与运行环境，帮你把重复性工作交给 AI 自动完成。
开源的 Python 库，让大模型直接操控浏览器完成点击、填表、抓取等网页任务，省去手写 Playwright 脚本的麻烦。
面向 Agent 应用的 Python 可观测性 SDK，支持对 Agent、LLM 和工具调用做追踪、调试与评测，自带可自托管面板，用时间线和执行图看清多智能体系统的运行过程。
开源 LLM 应用编排框架，用模块化管道和智能体工作流显式控制检索、路由、记忆与生成，适合搭建 RAG、语义搜索和多模态对话系统。
用微信聊天记录微调大模型，打造说话像你、记得你的个人 AI 分身，支持接入 Telegram 等聊天平台。
开源的个人 AI 助手，可本地离线运行，通过语音或文字对话帮你处理日程、查询信息、执行自动化任务。
给编码 Agent 用的代理和技能，让模型用「原始人式」极简表达回答，砍掉约 65% 的 token 消耗。
在工具输出、日志、文件和 RAG 片段进入 LLM 前先做压缩，编码 Agent 省约 20% token，JSON 省 60-95%，答案不变。提供库、代理和 MCP 服务器三种用法。
从零手写一个极简 Claude Code 式 agent harness，用 Bash 就能跑，适合想搞懂 AI 编程助手内部原理的人边看边练。