推理与服务
共 751 个仓库
扫描版 PDF 缺少书签时，用视觉语言模型识别目录页，自动生成可跳转书签，省去手动逐条添加的麻烦。
基于 Cloudflare Workers 的一站式云端资源分发平台，把二级域名、域名邮箱、R2 直链网盘、个人名片和 AI API 中转站打包在一起，纯静态前端加 Serverless 后端即可自建。
基于 PyTorch 的投机解码模型训练库，支持 EAGLE3、FSDP 等方案，帮你在 vLLM 等推理服务里加速大模型生成。
统一调用 170+ 家 LLM 提供商的单一 API 客户端，Rust 内核并提供各主流语言原生绑定，省去为每家模型单独对接的麻烦。
SEAgent 是一个能自主从经验中学习、持续自我进化的计算机操作智能体，基于 GRPO 强化学习在 OSWorld 等 GUI 环境中训练，让 Agent 越用越会操作电脑。
CacheRoute 是一套 LLM 调度方案，让不同 LLM 系统之间灵活复用 KV cache，从而提升任务表现和整体推理效率。
检测 OpenAI Codex 模型是否被悄悄降级（缩水）的工具，通过对比输出质量判断服务是否变差。
把 IP:Port 快速识别成 Ollama、vLLM、LiteLLM 等 60 多种大模型推理服务，用于资产测绘和攻击面排查。
在 RK3588 等瑞芯微芯片上快速装好并调用 NPU 的脚本工具，省去手动配置驱动和运行环境的麻烦，方便直接跑神经网络和 LLM 推理。
把 LLM、Embedding、Reranker、ASR、TTS、文生图和文生视频统一封装成 OpenAI 兼容接口，方便生产环境一键部署多种模型服务。
用本地或已有的 LLM 整本翻译电子书，支持 EPUB 双语对照输出，省去逐章手工翻译的麻烦。
一门小课程，教你搭建强化学习环境来评估和训练语言模型，涵盖 GRPO、RLVR 和井字棋等实例。
基于基础模型的医学图像分析代码库，涵盖MAE预训练、Mamba状态空间模型、视觉语言模型与医学报告生成，为医学影像研究提供可复用的模型实现。
一个聚合多家大模型与云厂商的 AI 能力网关，除聊天补全外还统一提供文本向量化、语音识别合成、文生图等接口，并内置计费、限流和资源管理。
可自部署的 AI 长期记忆与聊天网关，为多轮对话保存跨会话记忆，并统一接入和路由各家大模型。
用强化学习（GRPO）训练视觉语言模型生成更细粒度、更密集的图像描述，解决普通 caption 模型描述过于笼统的问题。
在单台桌面机器上跑 100GB 级大模型的开源推理引擎，支持 AMD Strix Halo、NVIDIA RTX 和 Apple Mac，兼容 OpenAI API，基于 ExLlamaV3 构建。
一个统一 API 网关，用一把密钥调用 Claude、GPT、Gemini、Grok、DeepSeek 等多家模型，并提供无审查、去对齐变体，兼容 OpenAI 与 Anthropic 接口，按 token 计费。
用 Python 从零实现的教学版 vLLM，帮助理解大模型推理引擎的调度与 KV Cache 机制，适合边读代码边学习。
在 Windows 上原生一键跑 Qwen3.6-27B 推理，无需 WSL 或 Docker，RTX 5090 上可达 158 tok/s，适合本地离线、注重隐私的部署。
纯浏览器端运行的极简 AI 对话界面，可对接 llama.cpp、Ollama、vLLM 和 OpenAI 兼容接口，省去本地部署 WebUI 的麻烦。
面向 LLM 推理的高性能 KV cache 存储层，通过 GPU 卸载、SSD 缓存和 RDMA 跨节点共享，缓解长上下文推理的显存瓶颈，兼容 vLLM 与 SGLang。
提供紧凑且高质量的俄语词向量，基于 GloVe 和 word2vec 训练并支持量化压缩，适合俄语 NLP 任务直接加载使用。
从零手写的 LLM 推理引擎，实现分页 KV 缓存、连续批处理、投机解码和 CUDA 图等优化，并提供 OpenAI 兼容服务接口。