推理与服务
共 679 个仓库 · 一年内有推送
基于 OpenTelemetry 的 LLM 应用可观测性工具，能追踪调用链、采集指标并监控模型表现，帮你在生产环境定位 GenAI 应用的性能与质量问题。
一本从硬件约束和模型架构出发、用定量推导讲透 LLM 推理与训练系统设计的开源书稿，附全书正文、PDF 和配套计算工具，适合想搞懂 AI Infra 底层账怎么算的工程师。
把 PDF、Word、PPT 解析成适合喂给大模型的格式，尽量不丢内容，省去自己清洗文档的麻烦。
在任意 M 系列 MacBook 上仅用约 2GB 内存跑 Gemma 4 26B-A4B 大模型推理，靠 Metal GPGPU 把 MoE 模型塞进本地设备。
面向多模态 AI 的开放湖仓数据格式，两行代码即可从 Parquet 转换，实现百倍随机访问加速、向量索引和数据版本管理，兼容 Pandas、DuckDB、PyTorch 等生态。
自托管的 AI 网关，把多个渠道的 API 密钥和订阅账号统一接入，提供调度、故障转移、请求日志与用量统计，适合集中管理 LLM 调用。
用大模型加 RAG 把自然语言问题直接转成 SQL，做对话式数据分析，让不会写 SQL 的人也能查库出报表。
从网页抓取正文和元数据的 Python 库与命令行工具，支持爬取、解析并导出为 CSV、JSON、Markdown 等格式，适合构建语料库和 RAG 数据。
面向智能体应用的 AI 原生代理服务器和数据平面，提供 LLM 智能路由、可观测性、编排与护栏，让开发者专注核心逻辑。
中文 LLaMA-2 与 Alpaca-2 大模型二期项目，提供支持 64K 超长上下文的中文预训练和指令微调模型，可直接用于长文本理解与对话。
Mooncake 是支撑 Kimi 大模型服务的推理平台，通过 KVCache 分离式架构和 RDMA 高速传输，把预填充与解码拆开部署，提升长上下文场景下的吞吐和资源利用率。
面向 LLM 推理服务的高性能 CUDA 内核库，提供注意力、MoE 等算子的 JIT 实现，用来加速 GPU 上的大模型推理。
给网页加语音识别的前端库，几行代码就能让站点听懂用户说话，支持语音指令和语音转文字。
Google 开源的智能体应用开发框架，支持 JavaScript、Go、Dart 和 Python，内置 LLM 调用、多模态、RAG 与向量检索能力，帮开发者快速搭建生产级 AI 应用。
基于 FunASR 的本地视频转写与字幕生成工具，带 Gradio 界面，还能用大模型辅助自动剪辑，适合做中文视频内容创作。
8MB 的 RWKV 模型管理与启动工具，全自动部署推理，并提供兼容 OpenAI API 的接口，方便直接接入现有客户端。
面向 Apple Silicon 的端侧语音 AI 工具包，用 Swift 在 iOS 和 macOS 上本地跑语音识别、说话人分离和语音合成，不用联网也能处理音频。
面向 LLM 推理的可编程语义路由层，按请求语义把流量分发到不同模型和算力，并内置护栏与 K8s 集成。
Facebook AI 开源的端到端语音识别训练工具包，用 C++ 实现，可基于 wav2letter 架构训练声学模型，省去传统 ASR 繁琐的特征工程流程。
基于大语言模型的语音合成系统，能生成接近真人音色的自然语音，并支持实时流式输出，适合搭建低延迟的 TTS 服务。
面向 AI Agent 的代码检索工具，用嵌入向量做语义搜索，比 grep+read 少消耗 99% 的 token，让 Agent 更快更准地定位代码。
用 EmbeddingGemma 2 在本地对照片、PDF、文档、录音、视频和代码做语义搜索，跨 Mac、Windows、Linux 的桌面文件检索工具。
基于 PyTorch 的度量学习库，提供对比损失、难例挖掘、采样器和检索指标，用来训练和评估相似度搜索所需的嵌入向量。
跨 macOS、Windows、Linux 的本地语音听写工具，用 Rust 编写，把说的话实时转成文字，全程离线运行，不上传云端。