推理与服务
共 679 个仓库 · 一年内有推送
把 BERT 现代化改造：通过架构升级和规模扩展提升长文本理解与嵌入质量，适合做检索、分类和向量化任务。
面向 Wayland 桌面环境的按键说话语音转文字工具，支持 Hyprland、Sway、GNOME、KDE，本地离线识别，适合日常听写和辅助输入。
面向大模型的 React 组件库，专门处理流式输出中 Markdown 渲染不完整、代码块闪烁等问题，让聊天界面边生成边稳定显示。
面向交互式超级智能系统的高性能推理服务运行时，支持语音识别、音频与音乐生成等多模态模型，并提供 OpenAI 兼容 API。
自托管的 LLM 路由网关，兼容 OpenAI 接口，支持自带密钥和多模型流式转发，帮你在本地统一接入各家大模型 API。
用 Zig 写的跨平台 LLM 推理引擎，支持 Metal、CUDA 和 Vulkan，让同一套代码在苹果、NVIDIA 和通用 GPU 上跑大模型推理。
统一 API 接入多家大模型服务商，集中路由、管理并分析 LLM 请求，省去逐个对接和维护密钥的麻烦。
在 Unity 游戏引擎里直接跑本地大模型，让 NPC 和角色能自然对话，不用接云端 API。
收集大模型越狱攻击的前沿论文、代码、数据集与评测分析，帮安全研究者快速跟进 LLM 与多模态模型的攻防进展。
PHP 生态里的生成式 AI 开发框架，借鉴 LangChain 思路，把 OpenAI GPT-4、向量嵌入和 Agent 编排封装成 PHP 组件，方便 Laravel、Symfony 项目直接接入大模型能力。
Linux 桌面上的离线语音笔记应用，集语音转文字、文字转语音和机器翻译于一体，无需联网即可完成听写、朗读和翻译。
兼容 MySQL 的多模态向量数据库，用统一 SQL 同时查询结构化与非结构化数据，支持向量 upsert 和检索，主打高并发、超低延迟。
面向 ggml 生态的开源 LLM/VLM 负载均衡与推理服务平台，用更少组件和简单部署在 CPU/GPU 上自托管大模型，可替代 llm-d 等方案。
OBS 直播插件，用本地 Whisper 模型实时做语音识别和字幕，不用把音频传到云端，直播时也能直接出字幕。
在 Apple Silicon 上跑大模型的高性能推理服务，兼容 OpenAI 和 Anthropic 接口，支持 MLX 原生加速、连续批处理、多模态和 MCP 工具调用。
在手机等移动设备上高效运行多模态大模型的 C++ 推理引擎，让视觉语言模型能在端侧低资源环境下完成推理。
开源 3D 虚拟角色交互界面，集成语音合成与语音识别，让用户通过自然对话与 3D 角色实时交流。
面向 LLM、VLM、DiT 和 REC 模型的高性能推理引擎，针对多种 AI 加速卡做优化，适合在异构硬件上部署大模型服务。
用大模型、计算机视觉和语音识别自动分析视频内容，把画面、语音转成结构化信息，省去人工逐帧观看和整理。
开源本地优先的 AI 语音听写应用，用开源模型离线转写，不用键盘就能快速输入文字，适合记笔记和会议记录。
Fun-ASR 是支持 31 种语言和中文方言的语音识别模型，提供 Nano 轻量版，并支持 Transformers、FunASR、vLLM、llama.cpp 多种部署方式，可端侧运行。
把任意 LLM 改造成 Jev 风格决策模型，输出带类型的决策和真实概率，无需训练即可使用，适合需要可靠置信度的决策场景。
本地优先的会议与语音备忘录转写工具，在设备端把录音转成 Markdown，并支持 Claude Code、Cursor 等 MCP 客户端直接查询。
字节跳动开源的多模态大模型系列，能同时理解语音、音频、音乐和视觉信息，用于语音识别与视听内容理解等研究任务。