推理与服务
共 48 个仓库 · Rust
在本地电脑上离线运行大模型的桌面客户端，是 ChatGPT 的开源替代品，无需联网即可对话，数据不出本机。
本地运行的 AI 会议记录工具，用 Whisper/Parakeet 在设备上完成转写和说话人分离，不需要会议机器人，会议内容不出本机。
持续录制电脑屏幕和音频，把日常工作流整理成可检索的记录，帮你找出值得自动化的环节，并为 AI 智能体提供上下文。
基于 TurboQuant 量化算法、用 Rust 实现并带 Python 绑定的向量索引，面向 RAG 和嵌入检索场景，提供高压缩比、低内存的近似最近邻搜索。
面向多模态 AI 的开放湖仓数据格式，两行代码即可从 Parquet 转换，实现百倍随机访问加速、向量索引和数据版本管理，兼容 Pandas、DuckDB、PyTorch 等生态。
面向智能体应用的 AI 原生代理服务器和数据平面，提供 LLM 智能路由、可观测性、编排与护栏，让开发者专注核心逻辑。
在 PostgreSQL 数据库内直接跑机器学习和向量检索，用 SQL 就能做嵌入、分类、聚类和 LLM 推理，省去单独搭推理服务的麻烦。
跨 macOS、Windows、Linux 的本地语音听写工具，用 Rust 编写，把说的话实时转成文字，全程离线运行，不上传云端。
面向 AI Agent 和 MCP 服务器的下一代代理网关，用 Rust 编写，把 Agent 与模型、工具之间的流量统一接入、路由和管控。
面向文本嵌入模型的高性能推理服务，用 Rust 编写，可快速把文本转成向量，适合搭建检索和 RAG 的向量化后端。
用 Rust 写的高性能向量图神经网络数据库，把向量检索、GNN 推理和智能体记忆放在一起，主打实时决策和低延迟自学习。
强类型逻辑数据库，用类型系统和推理规则对知识建模，适合构建需要复杂关系推理的知识图谱与知识库系统。
用 Rust 写的高性能 AI 模型推理引擎，支持 LLM 和语音合成，并针对 Metal 做加速，适合在本地或服务端跑模型推理。
用 Rust 写的便携式 SQL 查询、搜索与 LLM 推理引擎，给业务数据库加一个实时分析节点，让 AI 应用和智能体直接基于数据做推理。
面向大模型推理与 GPU 训练的高性能存储引擎，用 Rust 编写，通过 RDMA 等技术提升模型加载和服务吞吐。
一个用 Rust 写的 API 平台，把搜索、推荐、RAG 和数据分析打包在一起，底层接 PostgreSQL 和 Qdrant 向量库，省去自己拼装检索链路的麻烦。
用 Rust 写的本地 AI 模型运行时，支持 Llama、Mistral 等模型的推理、约束生成和语音转写，方便在本地快速搭建可控的 AI 应用。
用 Rust 写的命令行语义搜索与文档解析工具，能在终端里对本地文档做向量化检索，省去自己搭服务。
面向 Wayland 桌面环境的按键说话语音转文字工具，支持 Hyprland、Sway、GNOME、KDE，本地离线识别，适合日常听写和辅助输入。
面向 ggml 生态的开源 LLM/VLM 负载均衡与推理服务平台，用更少组件和简单部署在 CPU/GPU 上自托管大模型，可替代 llm-d 等方案。
本地优先的会议与语音备忘录转写工具，在设备端把录音转成 Markdown，并支持 Claude Code、Cursor 等 MCP 客户端直接查询。
统一接入 OpenCode、Claude、Cursor 等多家编码 Agent 的控制平面，用一个入口调度和路由不同 Agent，省去逐个对接的麻烦。
用 Rust 写的高性能嵌入推理与索引库，支持从多种数据源摄取内容、本地跑 ONNX 模型生成向量并建索引，适合搭建生产级检索管线。
Rust 编写的本地向量嵌入与重排库，无需调用外部 API 即可在本地生成文本向量并做检索结果重排，适合搭建 RAG 和向量检索。