推理与服务
共 540 个仓库 · 近 4 个月有推送
让大模型在普通显卡上跑起来的 PyTorch 量化库，支持 8-bit 和 4-bit 权重压缩，也是 QLoRA 微调背后的核心依赖。
在骁龙设备的 NPU、GPU 和 CPU 上本地跑大模型和多模态模型，几行代码就能接入，省去自己适配硬件的麻烦。
给 AI Agent 运行框架加上可观测与策略执行层，记录每次运行轨迹，并实时拦截违规行为，提升运行时可靠性。
聊天回复前的决策助手：读取聊天内容判断对方意图和风险，一键生成草稿供你确认后发送，支持 Android、Windows、macOS、iOS。
给 LLM 加一层语义缓存，相似问题直接命中缓存结果，省下重复调用 API 的钱和时间，已集成 LangChain 和 llama_index。
用 Swift 写的原生 macOS AI 智能体运行环境，可接入任意模型，支持持久记忆、自主执行和加密身份，全程离线运行。
LMDeploy 是面向大模型的高效推理与服务工具包，支持模型压缩、部署和在线服务，内置 TurboMind 推理引擎和 CUDA 算子，可加速 Llama、InternLM 等模型的推理。
跨平台桌面端语音转写工具，基于 Whisper 在本地把音视频转成文字，不用上传云端，隐私和离线场景都能用。
ERNIE 4.5 系列大模型与配套的工业级开发工具包 ERNIEKit，基于 PaddlePaddle，支持大语言模型和多模态模型的训练、微调与推理部署。
基于 OpenTelemetry 的 LLM 应用可观测性工具，能追踪调用链、采集指标并监控模型表现，帮你在生产环境定位 GenAI 应用的性能与质量问题。
一本从硬件约束和模型架构出发、用定量推导讲透 LLM 推理与训练系统设计的开源书稿，附全书正文、PDF 和配套计算工具，适合想搞懂 AI Infra 底层账怎么算的工程师。
把 PDF、Word、PPT 解析成适合喂给大模型的格式，尽量不丢内容，省去自己清洗文档的麻烦。
在任意 M 系列 MacBook 上仅用约 2GB 内存跑 Gemma 4 26B-A4B 大模型推理，靠 Metal GPGPU 把 MoE 模型塞进本地设备。
面向多模态 AI 的开放湖仓数据格式，两行代码即可从 Parquet 转换，实现百倍随机访问加速、向量索引和数据版本管理，兼容 Pandas、DuckDB、PyTorch 等生态。
自托管的 AI 网关，把多个渠道的 API 密钥和订阅账号统一接入，提供调度、故障转移、请求日志与用量统计，适合集中管理 LLM 调用。
用大模型加 RAG 把自然语言问题直接转成 SQL，做对话式数据分析，让不会写 SQL 的人也能查库出报表。
从网页抓取正文和元数据的 Python 库与命令行工具，支持爬取、解析并导出为 CSV、JSON、Markdown 等格式，适合构建语料库和 RAG 数据。
面向智能体应用的 AI 原生代理服务器和数据平面，提供 LLM 智能路由、可观测性、编排与护栏，让开发者专注核心逻辑。
Mooncake 是支撑 Kimi 大模型服务的推理平台，通过 KVCache 分离式架构和 RDMA 高速传输，把预填充与解码拆开部署，提升长上下文场景下的吞吐和资源利用率。
面向 LLM 推理服务的高性能 CUDA 内核库，提供注意力、MoE 等算子的 JIT 实现，用来加速 GPU 上的大模型推理。
给网页加语音识别的前端库，几行代码就能让站点听懂用户说话，支持语音指令和语音转文字。
Google 开源的智能体应用开发框架，支持 JavaScript、Go、Dart 和 Python，内置 LLM 调用、多模态、RAG 与向量检索能力，帮开发者快速搭建生产级 AI 应用。
基于 FunASR 的本地视频转写与字幕生成工具，带 Gradio 界面，还能用大模型辅助自动剪辑，适合做中文视频内容创作。
8MB 的 RWKV 模型管理与启动工具，全自动部署推理，并提供兼容 OpenAI API 的接口，方便直接接入现有客户端。