推理与服务
共 44 个仓库 · 近 4 个月有推送 · Rust
在本地电脑上离线运行大模型的桌面客户端，是 ChatGPT 的开源替代品，无需联网即可对话，数据不出本机。
本地运行的 AI 会议记录工具，用 Whisper/Parakeet 在设备上完成转写和说话人分离，不需要会议机器人，会议内容不出本机。
持续录制电脑屏幕和音频，把日常工作流整理成可检索的记录，帮你找出值得自动化的环节，并为 AI 智能体提供上下文。
基于 TurboQuant 量化算法、用 Rust 实现并带 Python 绑定的向量索引，面向 RAG 和嵌入检索场景，提供高压缩比、低内存的近似最近邻搜索。
面向多模态 AI 的开放湖仓数据格式，两行代码即可从 Parquet 转换，实现百倍随机访问加速、向量索引和数据版本管理，兼容 Pandas、DuckDB、PyTorch 等生态。
面向智能体应用的 AI 原生代理服务器和数据平面，提供 LLM 智能路由、可观测性、编排与护栏，让开发者专注核心逻辑。
跨 macOS、Windows、Linux 的本地语音听写工具，用 Rust 编写，把说的话实时转成文字，全程离线运行，不上传云端。
面向 AI Agent 和 MCP 服务器的下一代代理网关，用 Rust 编写，把 Agent 与模型、工具之间的流量统一接入、路由和管控。
面向文本嵌入模型的高性能推理服务，用 Rust 编写，可快速把文本转成向量，适合搭建检索和 RAG 的向量化后端。
用 Rust 写的高性能向量图神经网络数据库，把向量检索、GNN 推理和智能体记忆放在一起，主打实时决策和低延迟自学习。
强类型逻辑数据库，用类型系统和推理规则对知识建模，适合构建需要复杂关系推理的知识图谱与知识库系统。
用 Rust 写的高性能 AI 模型推理引擎，支持 LLM 和语音合成，并针对 Metal 做加速，适合在本地或服务端跑模型推理。
用 Rust 写的便携式 SQL 查询、搜索与 LLM 推理引擎，给业务数据库加一个实时分析节点，让 AI 应用和智能体直接基于数据做推理。
面向大模型推理与 GPU 训练的高性能存储引擎，用 Rust 编写，通过 RDMA 等技术提升模型加载和服务吞吐。
用 Rust 写的本地 AI 模型运行时，支持 Llama、Mistral 等模型的推理、约束生成和语音转写，方便在本地快速搭建可控的 AI 应用。
面向 Wayland 桌面环境的按键说话语音转文字工具，支持 Hyprland、Sway、GNOME、KDE，本地离线识别，适合日常听写和辅助输入。
面向 ggml 生态的开源 LLM/VLM 负载均衡与推理服务平台，用更少组件和简单部署在 CPU/GPU 上自托管大模型，可替代 llm-d 等方案。
本地优先的会议与语音备忘录转写工具，在设备端把录音转成 Markdown，并支持 Claude Code、Cursor 等 MCP 客户端直接查询。
统一接入 OpenCode、Claude、Cursor 等多家编码 Agent 的控制平面，用一个入口调度和路由不同 Agent，省去逐个对接的麻烦。
用 Rust 写的高性能嵌入推理与索引库，支持从多种数据源摄取内容、本地跑 ONNX 模型生成向量并建索引，适合搭建生产级检索管线。
Rust 编写的本地向量嵌入与重排库，无需调用外部 API 即可在本地生成文本向量并做检索结果重排，适合搭建 RAG 和向量检索。
基于 Tauri 和 Rust 的轻量级跨平台 AI 桌面客户端，集对话、Agent 与 AI 网关于一体，统一接入和管理多个模型服务。
把电脑播放或麦克风采集的声音实时转成翻译字幕，跨平台桌面应用，适合看外语视频、开会时即时理解内容。
自托管的 AI API 与 MCP 网关，给企业统一管控大模型调用：SSO/RBAC、按用户身份鉴权、PII 脱敏、工具调用防护、限流预算与成本审计。