大模型推理服务
vLLM / SGLang / TGI 这类推理引擎，关注吞吐与显存效率。
本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。
自托管的大模型对话界面，兼容 Ollama、OpenAI API 等后端，内置 RAG 与 MCP 支持，让团队快速搭建私有 AI 聊天入口。
输入一个主题或关键词，就能自动完成文案生成、素材匹配、配音字幕和视频合成，一键产出高清短视频，省去手工剪辑的麻烦。
用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。
给编码 Agent 用的代理和技能，让模型用「原始人式」极简表达回答，砍掉约 65% 的 token 消耗。
面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。
一个 Agent 技能，用来抹掉文本里 AI 生成的痕迹，让 ChatGPT、Claude 等模型写出的内容读起来更像真人手笔。
给 AI 编程助手实时提供最新版本文档的 MCP 服务，解决大模型训练数据过时、写代码时引用旧 API 的问题。
开源 AI 记忆系统，基于 ChromaDB 为 LLM 提供持久化记忆存储与检索，在基准测试中表现领先，可免费自托管。
一个免代码的 RAG 服务器，能随文档更新自动同步答案，支持 8 种向量数据库，基于 Pathway 构建。
OpenAI Whisper 语音识别模型的 C/C++ 移植版，无需 Python 和 GPU 依赖，在普通 CPU 上就能跑语音转文字。
把纸质文档扫描后自动 OCR、打标签并归档成可全文检索的个人文档管理系统，适合想彻底告别纸质文件柜的人。
在本地电脑上离线运行大模型的桌面客户端，是 ChatGPT 的开源替代品，无需联网即可对话，数据不出本机。
单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案，通过逐层加载权重把显存需求压到极低，适合本地低配设备部署大模型。
用 LLM 从非结构化文本中抽取结构化信息，并给出精确的原文出处定位和交互式可视化，方便核对抽取结果。
高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。
把 IDE 直接接进终端的编码智能体，支持 Claude、OpenAI 等多模型和 MCP，让命令行里也能完成读写代码、调用工具的完整开发流程。
用大模型智能体做量化交易，支持多智能体协作、策略回测和 MCP 接入，让个人也能搭起自己的自动交易助手。
用聊天方式让 AI 直接绘制和编辑 draw.io 图表，提供网页版、桌面版和 MCP 服务器，可接入 Claude Code、Cursor 等编码工具。
面向重度用户的大语言模型聊天前端，支持接入多种模型接口，提供角色卡、提示词管理和对话历史等进阶功能，适合深度定制 AI 角色扮演与对话体验。
把 Claude Code、Codex、Gemini CLI 等 20 多种命令行 AI 代理统一到一个可长期在线的协作界面里，支持自定义助手并组队干活。
让任意大模型通过 MCP 协议直接操控 Blender 建模的社区插件，用自然语言就能驱动 3D 创作流程。
开箱即用的开源 AI 对话平台，支持接入任意 LLM，内置 RAG 与企业级搜索，适合团队自建带知识库的聊天助手。
在 macOS 菜单栏里统一管理各家大模型的接入，让 Codex 跑在 DeepSeek 上、Claude Code 跑在 Kimi 上，省去逐个配置的麻烦。
面向中文用户的 Linux 环境大模型实战教程，手把手教你在本地微调（全参数/LoRA）和部署国内外开源 LLM 与多模态模型。
用大语言模型驱动的 Python 爬虫，只需描述想抓什么，就能自动完成网页抓取和结构化数据提取，省去手写解析规则。
本地运行的 AI 会议记录工具，用 Whisper/Parakeet 在设备上完成转写和说话人分离，不需要会议机器人，会议内容不出本机。
用 TypeScript 快速搭建 AI 应用和智能体的现代框架，内置工作流、对话机器人和评测能力，省去自己拼装 LLM 调用链的麻烦。
把整个代码仓库打包成单个 AI 友好文件，方便直接喂给 ChatGPT、Claude 等大模型做代码理解与分析。
跨平台本地优先的数据库客户端和 SQL 工作台，支持 40+ 数据库，可接入自有 AI 模型生成、解释和优化查询，桌面、Web、Docker、CLI 多端可用。
汇集大模型技术原理与实战经验的开源知识库，覆盖训练、推理、部署和工程化落地全流程，适合系统学习大模型应用开发。
汇总可私有化部署的中文大语言模型资源清单，覆盖小规模底座模型、垂直领域微调、数据集与教程，方便低成本选型落地。
持续录制电脑屏幕和音频，把日常工作流整理成可检索的记录，帮你找出值得自动化的环节，并为 AI 智能体提供上下文。
基于大模型和 Agent 的数据库智能助手，用自然语言直接查询和分析数据库，支持 RAG 与私有化部署，方便搭建 AI+Data 应用。
一本面向大模型工程实践的开源手册，系统讲解 GPU 训练、推理、调试、网络与扩展性等落地问题，帮工程师把模型真正跑起来。
在 LLaMA/Alpaca 基础上扩充中文词表并做中文增量预训练，提供可本地 CPU/GPU 部署的中文大模型及 LoRA 微调、量化方案。
面向企业私有化部署的 AI 平台，可搭建智能体、助手和文档检索问答，支持多模型接入、深度研究与 API 连接。
在浏览器里直接跑 Hugging Face 的 Transformer 模型，不用后端服务器，前端就能做文本、视觉等机器学习推理。
用 PyTorch 从零实现的轻量级 vLLM，代码精简易读，适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。
给 ChatGPT 及 Llama、Claude、Gemini 等大模型套上清爽的网页界面，支持智能体、文件问答、联网搜索和模型微调，开箱即用。
用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。
用小型专用模型搭建企业级 RAG 流水线的统一框架，覆盖文档解析、检索和智能体编排，适合在本地或私有环境部署。
给 AI Agent 提供可移植的长期记忆层，本地优先、Markdown 原生、用户自持，跨应用和工具持续演化。
在个人设备上本地跑 RAG 的向量索引库，用图结构剪枝把索引体积压掉 97%，兼顾检索速度和准确率，数据不出本机。
提供 20 多个高性能大语言模型的训练配方，覆盖预训练、微调和规模化部署全流程，适合想快速上手 LLM 训练与推理的开发者。
冰霜之地的技术博客合集，深入拆解 Go、HTTP/2、密码学、算法与机器学习等源码，适合想系统啃底层实现和系统设计的工程师。
开源文生视频和图生视频模型，CogVideoX 支持从文本或图片生成视频，适合搭建视频生成推理服务。
从下载数据到生成文本，手把手教你从零训练自己的大语言模型，适合想搞懂 LLM 训练全流程的开发者动手实践。
把任意代码库自动转成通俗易懂的教程，基于 Pocket Flow 的 LLM 工作流实现，适合快速理解陌生项目结构。
给 LLM 推理加速的 KV Cache 层，可对接 vLLM 等框架，复用和缓存键值对来降低显存占用、提升吞吐，支持 CUDA 和 ROCm。
在任意网址前加上 https://r.jina.ai/ 前缀，就能把网页转成适合大模型读取的干净文本，省去自己写爬虫和清洗正文的麻烦。
把 FastAPI 接口一键暴露成 MCP 工具，自带认证授权，让 Claude、Cursor 等 LLM 客户端直接调用你的后端服务。
用纯 C99 从零实现的 Kimi K3 推理引擎，单 CPU、8.24 GB 内存即可跑 2.78 万亿参数模型，不依赖 BLAS、框架或 GPU。
Brigade 是一个 TypeScript 编写的自主智能体运行时，用来编排多智能体协作（AI crew），把个人 AI 助手做成企业级可靠的服务。
Amazon SageMaker 官方示例集，用 Jupyter Notebook 演示如何构建、训练和部署机器学习模型，适合上手 MLOps 全流程。
Large Language Model Text Generation Inference
Official inference library for Mistral models
把分散在多家云上的 GPU 资源统一调度成一台「AI 超算」，自动选最便宜的可用算力跑训练、微调和推理任务，省去手动比价与跨云管理。
基于 PyTorch 的 YOLOv3 系列实现，覆盖训练、验证、推理全流程，并支持导出 ONNX、CoreML、TensorRT 等多种格式，方便做实时目标检测和边缘部署。
面向本地部署的高速大模型推理引擎，通过稀疏激活与量化等技术，让消费级显卡也能流畅跑起 Llama 类模型。