推理与服务
共 751 个仓库
云原生高性能 AI 与 API 网关，把各家大模型 API 统一成一套请求和返回格式，顺带做申请审批、调用统计、负载均衡和多模型灾备，一键部署开箱即用。
Ollama 的现代化跨平台客户端，支持 Android、Windows、Linux，让本地大模型对话和管理更顺手。
面向 A 股的桌面行情分析与 AI 智能投研工作台，集股票分析、量化交易分析和盘后复盘于一体，用大模型智能体辅助投研决策。
基于新一代 Kaldi 和 ncnn 的离线实时语音识别与语音活动检测引擎，无需联网即可在手机、嵌入式板卡和桌面端跑起来。
百聆是一个类 GPT-4o 的实时语音对话助手，串联 ASR、大模型和 TTS，端到端延迟低至 800ms，支持打断，Mac 等低配设备也能跑。
把 ExecuTorch 推理运行时封装进 React Native，让手机端直接跑 LLM、视觉、语音等模型，数据不出设备。
腾讯开源的模型压缩工具包，支持量化、投机解码和扩散模型加速，帮你在部署大模型时降低显存占用、提升推理效率。
把 BERT 现代化改造：通过架构升级和规模扩展提升长文本理解与嵌入质量，适合做检索、分类和向量化任务。
面向 Wayland 桌面环境的按键说话语音转文字工具，支持 Hyprland、Sway、GNOME、KDE，本地离线识别，适合日常听写和辅助输入。
面向大模型的 React 组件库，专门处理流式输出中 Markdown 渲染不完整、代码块闪烁等问题，让聊天界面边生成边稳定显示。
面向 Tenstorrent 加速卡的 TT-NN 算子库和 TT-Metalium 底层内核编程模型，让大模型和图像生成模型能在非 GPU 硬件上高效推理。
面向交互式超级智能系统的高性能推理服务运行时，支持语音识别、音频与音乐生成等多模态模型，并提供 OpenAI 兼容 API。
自托管的 LLM 路由网关，兼容 OpenAI 接口，支持自带密钥和多模型流式转发，帮你在本地统一接入各家大模型 API。
在 Unity 游戏引擎里直接跑本地大模型，让 NPC 和角色能自然对话，不用接云端 API。
统一 API 接入多家大模型服务商，集中路由、管理并分析 LLM 请求，省去逐个对接和维护密钥的麻烦。
收集大模型越狱攻击的前沿论文、代码、数据集与评测分析，帮安全研究者快速跟进 LLM 与多模态模型的攻防进展。
用 Zig 写的跨平台 LLM 推理引擎，支持 Metal、CUDA 和 Vulkan，让同一套代码在苹果、NVIDIA 和通用 GPU 上跑大模型推理。
PHP 生态里的生成式 AI 开发框架，借鉴 LangChain 思路，把 OpenAI GPT-4、向量嵌入和 Agent 编排封装成 PHP 组件，方便 Laravel、Symfony 项目直接接入大模型能力。
Linux 桌面上的离线语音笔记应用，集语音转文字、文字转语音和机器翻译于一体，无需联网即可完成听写、朗读和翻译。
兼容 MySQL 的多模态向量数据库，用统一 SQL 同时查询结构化与非结构化数据，支持向量 upsert 和检索，主打高并发、超低延迟。
面向 ggml 生态的开源 LLM/VLM 负载均衡与推理服务平台，用更少组件和简单部署在 CPU/GPU 上自托管大模型，可替代 llm-d 等方案。
用 Python 搭建 WhatsApp 智能体 Ava 的实战课程，串联语音转写、语音合成和向量数据库，带你跑通一个能对话的 Agent 完整流程。
OBS 直播插件，用本地 Whisper 模型实时做语音识别和字幕，不用把音频传到云端，直播时也能直接出字幕。
在 Apple Silicon 上跑大模型的高性能推理服务，兼容 OpenAI 和 Anthropic 接口，支持 MLX 原生加速、连续批处理、多模态和 MCP 工具调用。