开源本地 AI 推理引擎，无需 GPU 即可在任意硬件上跑 LLM、视觉、语音和图像生成模型，提供兼容 OpenAI 的 API。
用 PyTorch 从零实现的轻量级 vLLM，代码精简易读，适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。
把 DeepSeek、Llama 等开源大模型一键部署成兼容 OpenAI 的 API 服务，省去自己搭推理后端的麻烦。
用小型专用模型搭建企业级 RAG 流水线的统一框架，覆盖文档解析、检索和智能体编排，适合在本地或私有环境部署。
统一调用 100+ 家 LLM API 的 AI 网关，用 OpenAI 格式或原生格式接入，自带成本追踪、限流护栏、负载均衡和日志。
单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案，通过逐层加载权重把显存需求压到极低，适合本地低配设备部署大模型。
O'Reilly《Hands-On Large Language Models》官方配套代码，用 Jupyter Notebook 带你动手跑通大模型的分词、嵌入、提示工程、微调与 RAG 等核心环节。
通用大模型部署引擎，借助机器学习编译技术把 LLM 高效跑在各种硬件上，从手机到服务器都能用。
用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。
在 iOS 和 macOS 上离线运行 LLaMA、GPT-2、RWKV 等大语言模型的 Swift 应用，基于 GGML 库，无需联网即可本地推理。
离线多智能体模拟与预测引擎，用 Neo4j 图数据库加 Ollama 本地模型跑群体智能推演，全程不联网也能做预测实验。
在自己电脑上离线运行的语音对话大模型，集语音识别、大模型推理和语音合成于一体，无需联网即可与 AI 对话。
本地离线运行的便携式 OCR 软件，用 DeepSeek-OCR-2 模型直接在你自己机器上识别图片和 PDF，适合不想把文档传到云端的场景。
把 PDF、Office 等复杂文档转成 LLM 可直接用的 Markdown/JSON，内置版面分析和 OCR，专为 RAG 与 Agent 工作流准备语料。
统一加载和运行文本、视觉、音频、多模态的预训练模型，覆盖推理与训练，省去为每个模型重写代码的麻烦。
一套从数据工程、模型训练到部署迭代的完整教程，帮你把机器学习项目做成可上线的生产级应用。
用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。
给 AI 编程助手实时提供最新版本文档的 MCP 服务，解决大模型训练数据过时、写代码时引用旧 API 的问题。
基于知识图谱的模块化检索增强生成系统，把文档抽成实体关系图，让大模型在回答复杂问题时能跨文档做全局推理。
自托管的大模型对话界面，兼容 Ollama、OpenAI API 等后端，内置 RAG 与 MCP 支持，让团队快速搭建私有 AI 聊天入口。
把任意网页抓取并转成干净 Markdown 或结构化数据，直接喂给 LLM 和 AI Agent，省去自己写爬虫和清洗的麻烦。
完全离线运行的 Python 多智能体框架，面向高监管团队和想在本地跑 AI 的人，不用联网也能搭建智能体。
用多个 LLM 智能体分工协作模拟金融交易决策，把研究、分析、下单等环节拆给不同角色，适合做量化交易策略的智能体实验。
用 Swift 写的原生 macOS AI 智能体运行环境，可接入任意模型，支持持久记忆、自主执行和加密身份，全程离线运行。
基于 Langchain 和 ChatGLM、Qwen、Llama 等本地大模型搭建的知识库问答应用，支持 RAG 检索增强与 Agent 能力，可离线部署私有文档问答系统。
开源的 LLM 可观测性与评测平台，能追踪、调试和评估 RAG 与 Agent 应用，帮团队定位大模型链路中的问题。
面向 Agent 应用的 Python 可观测性 SDK，支持对 Agent、LLM 和工具调用做追踪、调试与评测，自带可自托管面板，用时间线和执行图看清多智能体系统的运行过程。
开源的个人 AI 助手，可本地离线运行，通过语音或文字对话帮你处理日程、查询信息、执行自动化任务。
开源 LLM 应用编排框架，用模块化管道和智能体工作流显式控制检索、路由、记忆与生成，适合搭建 RAG、语义搜索和多模态对话系统。
用微信聊天记录微调大模型，打造说话像你、记得你的个人 AI 分身，支持接入 Telegram 等聊天平台。
开源的 Python 库，让大模型直接操控浏览器完成点击、填表、抓取等网页任务，省去手写 Playwright 脚本的麻烦。
一站式语义搜索与 LLM 编排框架，把向量检索、RAG 和智能体工作流整合在一起，用 Python 就能搭建基于语言模型的应用。
在工具输出、日志、文件和 RAG 片段进入 LLM 前先做压缩，编码 Agent 省约 20% token，JSON 省 60-95%，答案不变。提供库、代理和 MCP 服务器三种用法。
从零手写一个极简 Claude Code 式 agent harness，用 Bash 就能跑，适合想搞懂 AI 编程助手内部原理的人边看边练。
为 AI Agent 提供安全隔离的云端沙箱环境，内置真实工具和代码解释器，让 Agent 能安全执行代码、操作文件而不影响宿主系统。
轻量级开源个人 AI 助手，支持本地 LLM、MCP 协议和多智能体协作，可接入 Discord 等聊天平台做日常自动化。
开源 AI 记忆系统，基于 ChromaDB 为 LLM 提供持久化记忆存储与检索，在基准测试中表现领先，可免费自托管。
提供文本嵌入与重排模型，用于语义检索和 RAG 场景，把文档和查询转成向量并做相关性排序。