推理与服务
共 679 个仓库 · 一年内有推送
基于 Claude 的自托管自主 AI 开发团队机器人，接入 Telegram 和 VK，自动完成代码审查与开发任务。
把想法和素材交给 AI 导演智能体，自动生成生动的讲解视频，支持本地优先运行并自由接入任意模型。
基于 Qwen3.6-27B 做去审查与能力增强的 abliteration 模型，配合 NVFP4 量化和 DFlash 投机解码，在 DGX Spark 上优化长上下文草稿接受率，附多种 HF 变体与 Docker 部署。
用 C++ 复刻 vLLM 的推理引擎，支持连续批处理、分页 KV 缓存，并额外提供 GGUF 加载、RadixAttention 和缓存感知调度，适合想在 C++ 环境跑大模型推理的场景。
MindSpore 官方的大模型实战课程，带你从 BERT、GPT 一路动手实现到 ChatGLM、LLaMA2，适合系统学习大模型原理与训练推理。
多线程网页爬虫，递归抓取整站并把每个页面转成 Markdown 文件，为 LLM RAG 准备干净的语料。
高通 AI Hub 应用集，提供针对高通设备优化过延迟和内存的机器学习模型，可直接部署到骁龙等终端上跑推理。
把 AI 智能体的记忆全部存进单个 SQLite 文件，内置知识图谱、本体约束和可追溯推理，让本地优先的记忆管理不再依赖外部服务。
基于 vLLM 的 NUMA 扩展推理引擎，充分利用 CPU 和内存资源降低显存占用，支持 MOE 大模型混合推理与 GPU/NUMA 并行。
基于 vLLM 的 Runpod 无服务器 worker 模板，用于快速部署大语言模型推理端点，省去自己搭建服务的工作。
面向 PHP 开发者的 DeepSeek AI 客户端，封装官方 API，提供链式调用和框架友好集成，方便在 PHP 应用里接入对话与代码模型。
面向 XLA 设备（先支持 TPU，后续扩展 GPU）的大模型推理引擎，主打高吞吐和低显存占用，适合在 JAX 生态里跑 Llama、Gemma 等模型。
基于 txtai 的检索增强生成示例，把向量检索和大模型结合起来，让你用自己的数据做问答和洞察分析。
用嵌入向量做 GitHub 仓库推荐，并生成更清晰的 Star 历史图表，帮开发者发现值得关注的项目。
用 Rust 写的开源 AI 网关，单二进制自带控制台，统一路由、鉴权、预算和观测 OpenAI、Anthropic、Gemini、Bedrock 等各家 LLM 调用。
整理 RAG（检索增强生成）相关的论文、工具和资源清单，帮你在 LLM 应用里快速找到检索增强的落地方案。
在 Mac 上用 MLX 本地跑视觉和文本嵌入模型的 Python 包，方便给 RAG 和检索应用生成向量，不用依赖云端 API。
面向 iPad 和 iPhone 的开源端侧 AI 智能体工作台，在设备本地跑 Linux、终端、Python/Node.js、Git 和 3D/CAD 编辑，支持自带密钥接入大模型。
给 OpenAI 请求加一层隐私代理，自动检测并脱敏提示词中的 PII 等敏感信息，让调用大模型时不泄露用户数据。
面向大模型的一站式压缩 Python 包，集成量化与 QEP 等技术，可压缩模型体积并接入 vLLM 加速推理部署。
用统一接口调用 Anthropic、Cohere 等多家大模型，省去分别对接各家 API 的麻烦，适合快速搭建 LLM 应用。
免调优的 KV Cache 2bit 非对称量化方案，能大幅压缩大模型推理时的显存占用，让长上下文推理在有限显存下跑起来。
自托管的 AI 网关与推理防火墙，为 Agent 提供身份与访问管理，拦截提示注入并审计调用，防止 LLM 被滥用。
自托管的 AI API 网关，把 Claude Code、Codex、Gemini 的 API Key 和订阅账号汇到一个端点，统一做故障转移、协议转换和成本统计。