推理与服务
共 540 个仓库 · 近 4 个月有推送
用 Rust 写的本地 AI 模型运行时，支持 Llama、Mistral 等模型的推理、约束生成和语音转写，方便在本地快速搭建可控的 AI 应用。
在 Node.js 里直接跑 llama.cpp 的绑定库，支持 GPU 加速和 GGUF 模型，还能在生成阶段强制模型按 JSON Schema 输出，方便做结构化抽取和函数调用。
在 Vim 编辑器里接入本地 LLM 做代码和文本补全的插件，基于 llama.cpp 实现，无需联网即可获得类 Copilot 的补全体验。
面向 Apple Silicon 的本地大模型推理引擎，围绕模型本身做优化，让 Mac 上跑编码智能体和 LLM 推理更快更省资源。
PHP 生态的 Agent 编排框架，把 LLM、工具、向量库和记忆组装成能读写数据、对接 UI 的智能体，方便落地生产级 AI 应用。
给任意会议或直播加实时字幕、同声传译和 AI 会议纪要的跨平台工具，支持 Mac、Windows、Linux 和 Android，免费开源。
用单个 Mojo 文件实现 Llama 2 推理，借助 SIMD 和并行化把大模型跑起来，适合研究推理底层实现和性能优化。
在 Arduino ESP32 硬件上跑实时语音 AI，通过安全 WebSocket 和边缘函数接入 100+ 模型，做 AI 陪伴设备。
把会议录音转成文字并实时分析，让 AI 智能体在会前、会中、会后持续跟进，自动生成会议纪要并驱动后续工作流。
按公司分类整理的 AI 工程面试题库，覆盖 LLM 推理等方向的问题与答案，适合面试前按目标公司集中刷题准备。
为 LLM 推理提供虚拟化弹性 KV Cache，让多个推理任务动态共享 GPU 显存，减少显存碎片和浪费，提升 GPU 利用率。
专为 AMD Ryzen AI NPU 深度优化的本地大模型推理引擎，几分钟内就能在 AMD NPU 上跑起 LLM，省去繁琐配置。
开源推理研究平台，用于在 AMD、CUDA 等不同 GPU 上对 LLM 推理服务做基准测试和性能对比，帮团队选型加速卡。
汇集各类 RAG（检索增强生成）框架、项目和资源的社区清单，方便快速找到并对比检索增强生成生态里的现成方案。
Datawhale 与 SGLang 官方合作的 LLM 推理课程，从零手写 mini-sglang 理解推理原理，再读真实源码并完成第一个 PR。
让 vLLM 在 Apple Silicon 的 Mac 上跑起来，通过 Metal 和 MLX 后端把大模型推理搬到本地苹果芯片，省去 GPU 服务器。
本地运行的代码语义搜索与调用图工具，让 AI 编程助手在不上传代码的前提下理解仓库结构、定位相关代码。
整理说话人分离（Speaker Diarization）领域的论文、开源库、数据集与工具资源，方便快速找到「谁在什么时候说话」相关的实现和评测材料。
Kotlin 编写的 OpenAI API 客户端，支持多平台和协程，方便在 Kotlin 项目中调用 GPT、DALL·E、Whisper 等模型接口。
把 ChatGPT 式对话、AI 绘图、内容审核、自定义知识库和 YouTube 摘要整合进 Discord 的机器人，让社区频道直接变成可对话的 AI 助手。
面向 LLM 角色扮演的易用客户端，可自建角色与剧情，接入 GPT、Claude、Gemini、Llama 等多种模型聊天。
统一管理 VLLM、Sglang、llama.cpp、exllamav3 等本地大模型推理引擎的控制面板，省去逐个配置和切换的麻烦。
把草图或科学图表图片自动转成可编辑的 TikZ/LaTeX 绘图代码，省去手写矢量图代码的麻烦。
云原生高性能 AI 与 API 网关，把各家大模型 API 统一成一套请求和返回格式，顺带做申请审批、调用统计、负载均衡和多模型灾备，一键部署开箱即用。