推理与服务
共 540 个仓库 · 近 4 个月有推送
Ollama 的现代化跨平台客户端，支持 Android、Windows、Linux，让本地大模型对话和管理更顺手。
面向 A 股的桌面行情分析与 AI 智能投研工作台，集股票分析、量化交易分析和盘后复盘于一体，用大模型智能体辅助投研决策。
把 ExecuTorch 推理运行时封装进 React Native，让手机端直接跑 LLM、视觉、语音等模型，数据不出设备。
腾讯开源的模型压缩工具包，支持量化、投机解码和扩散模型加速，帮你在部署大模型时降低显存占用、提升推理效率。
面向 Wayland 桌面环境的按键说话语音转文字工具，支持 Hyprland、Sway、GNOME、KDE，本地离线识别，适合日常听写和辅助输入。
面向大模型的 React 组件库，专门处理流式输出中 Markdown 渲染不完整、代码块闪烁等问题，让聊天界面边生成边稳定显示。
面向交互式超级智能系统的高性能推理服务运行时，支持语音识别、音频与音乐生成等多模态模型，并提供 OpenAI 兼容 API。
自托管的 LLM 路由网关，兼容 OpenAI 接口，支持自带密钥和多模型流式转发，帮你在本地统一接入各家大模型 API。
用 Zig 写的跨平台 LLM 推理引擎，支持 Metal、CUDA 和 Vulkan，让同一套代码在苹果、NVIDIA 和通用 GPU 上跑大模型推理。
统一 API 接入多家大模型服务商，集中路由、管理并分析 LLM 请求，省去逐个对接和维护密钥的麻烦。
收集大模型越狱攻击的前沿论文、代码、数据集与评测分析，帮安全研究者快速跟进 LLM 与多模态模型的攻防进展。
PHP 生态里的生成式 AI 开发框架，借鉴 LangChain 思路，把 OpenAI GPT-4、向量嵌入和 Agent 编排封装成 PHP 组件，方便 Laravel、Symfony 项目直接接入大模型能力。
Linux 桌面上的离线语音笔记应用，集语音转文字、文字转语音和机器翻译于一体，无需联网即可完成听写、朗读和翻译。
兼容 MySQL 的多模态向量数据库，用统一 SQL 同时查询结构化与非结构化数据，支持向量 upsert 和检索，主打高并发、超低延迟。
面向 ggml 生态的开源 LLM/VLM 负载均衡与推理服务平台，用更少组件和简单部署在 CPU/GPU 上自托管大模型，可替代 llm-d 等方案。
OBS 直播插件，用本地 Whisper 模型实时做语音识别和字幕，不用把音频传到云端，直播时也能直接出字幕。
在 Apple Silicon 上跑大模型的高性能推理服务，兼容 OpenAI 和 Anthropic 接口，支持 MLX 原生加速、连续批处理、多模态和 MCP 工具调用。
在手机等移动设备上高效运行多模态大模型的 C++ 推理引擎，让视觉语言模型能在端侧低资源环境下完成推理。
开源 3D 虚拟角色交互界面，集成语音合成与语音识别，让用户通过自然对话与 3D 角色实时交流。
面向 LLM、VLM、DiT 和 REC 模型的高性能推理引擎，针对多种 AI 加速卡做优化，适合在异构硬件上部署大模型服务。
开源本地优先的 AI 语音听写应用，用开源模型离线转写，不用键盘就能快速输入文字，适合记笔记和会议记录。
Fun-ASR 是支持 31 种语言和中文方言的语音识别模型，提供 Nano 轻量版，并支持 Transformers、FunASR、vLLM、llama.cpp 多种部署方式，可端侧运行。
把任意 LLM 改造成 Jev 风格决策模型，输出带类型的决策和真实概率，无需训练即可使用，适合需要可靠置信度的决策场景。
本地优先的会议与语音备忘录转写工具，在设备端把录音转成 Markdown，并支持 Claude Code、Cursor 等 MCP 客户端直接查询。