推理与服务
共 751 个仓库
量化注意力算子库，在语言、图像、视频模型上比 FlashAttention 快 2-5 倍且不损失端到端精度，可直接替换加速推理。
面向A股的多人智能体投研框架，接入龙虎榜、游资、解禁等本地数据源，让7位AI分析师按A股规则辩论并给出风险评估。
面向 AI Agent 的级联运行时，在 Agent 循环内按成本、延迟、质量和策略动态调度模型与决策，帮你在不牺牲效果的前提下省下推理开销。
面向中文 NLP 的大模型实战代码库，覆盖数据准备、模型训练与推理全流程，含 BERT、ChatGLM、LLaMA 等示例，适合直接上手跑通中文大模型任务。
基于 PyTorch 的自监督学习库，用对比学习和 JEPA 世界模型在无标注图像上训练表征，省去人工标注成本。
在 .NET 项目里本地跑 LLaMA、LLaVA 等大模型的 C# 库，封装 llama.cpp，让 C# 开发者不用切 Python 就能做聊天和多模态推理。
面向 Postgres、MySQL、SQL Server、Oracle 等数据库的 MCP 服务器，让 Claude、Cursor 等 AI 编程助手能直接查询数据库，并控制上下文 token 消耗。
用多环境任务系统评测大模型作为智能体的综合能力，覆盖操作系统、数据库、知识图谱等场景，方便横向对比不同模型的 agent 表现。
基于 faster-whisper 的语音转写服务，提供兼容 OpenAI API 的接口，用 Docker 一键部署即可获得本地语音识别与翻译能力。
基于飞桨的高性能推理部署工具包，专门用来把大语言模型和多模态模型跑起来、服务化，支持 ERNIE 系列和 OpenAI 兼容接口。
用 Go 重写的 AI Agent 编排网关，支持多租户隔离、五层安全防护和原生并发，适合大规模部署 Agent 团队。
一份精选的生成式 AI 资源清单，汇总了工具、模型、作品和参考资料，方便快速找到绘画、对话、嵌入等方向的实用项目。
为 Transformers、Diffusers 等模型提供硬件加速与量化、ONNX 导出等优化工具，让推理和训练在各类硬件上跑得更快。
开源的推理服务器与生产集群，统一部署 Agent 所需的各类模型，涵盖嵌入、检索与 LLM 推理，省去自建服务与运维的麻烦。
MiniMax 官方开源的文本大模型 MiniMax-Text-01 和视觉语言模型 MiniMax-VL-01，基于线性注意力架构，可用于长上下文理解与多模态推理。
基于 Python 的 Telegram 机器人，接入 OpenAI 官方 API，在聊天窗口里直接提供 ChatGPT 问答、DALL·E 绘图和 Whisper 语音转写。
汇总 Prompt 与 LLM 相关论文、开源数据和模型，并整理 AIGC 应用案例，方便快速跟进提示工程与大模型研究进展。
系统梳理 GPU 架构、CUDA 编程、大模型基础与 AI Agent 的入门知识库，帮开发者补齐 AI 基础设施底层原理。
面向任意结构剪枝的通用框架，支持 LLM、视觉基础模型和 Transformer 等，用依赖图自动处理层间耦合，省去手工设计剪枝策略。
面向大型代码库的本地私有智能分析引擎，支持混合语义搜索、多语言依赖图、符号级影响分析和调用链追踪，可作为 MCP 或编辑器插件零配置接入，帮 AI 编程助手大幅减少 token 消耗和调用次数。
把 OpenAI Whisper 封装成开箱即用的 Docker 语音识别 Web 服务，上传音频即可通过 API 拿到转写文本，省去自己搭推理服务的麻烦。
用 LLM 驱动的网页抓取工具，支持 OpenAI、Gemini 和 Ollama，能按自然语言指令从网页中提取结构化数据，省去手写解析规则。
轻量级 Python 向量化库，无需 API 调用即可在本地快速生成高质量文本嵌入，适合 RAG 和向量检索场景。
面向开发者的开源 LLMOps 平台，把提示词设计、版本管理、即时下发、团队协作和可观测性串成一条流水线，省去自己拼凑工具的成本。