评估 · 实验 · MLOps

qdrant

qdrant·Rust

高性能大规模向量数据库与向量检索引擎，用 Rust 编写，支持 HNSW、混合检索和图像搜索，适合为 AI 应用和 RAG 提供相似度检索能力。

命令行基准测试工具，能对任意 shell 命令做多次运行统计，自动给出耗时分布和置信区间，方便比较不同实现的性能差异。

TensorZero is an open-source LLMOps platform that unifies an LLM gateway, observability, evaluation, optimization, and experimentation.

rig

0xPlaygrounds·Rust

用 Rust 构建模块化、可扩展 LLM 应用的框架，把模型调用、Agent 编排和工具集成做成可组合组件，适合追求性能与类型安全的团队。

aya

aya-rs·Rust

用 Rust 写 eBPF 程序的库，主打开发体验和可运维性，省去 C 工具链和内核头文件依赖，编译即用。

面向大模型推理与 GPU 训练的高性能存储引擎，用 Rust 编写，通过 RDMA 等技术提升模型加载和服务吞吐。

oryx

pythops·Rust

基于 eBPF 的 Linux 终端网络流量嗅探工具，用 TUI 界面实时查看内核层抓包结果，排查网络和安全问题不用再开笨重的图形工具。

用 Rust 构建的统一基础设施可观测平台，基于数据湖架构统一采集日志、指标、链路和事件，靠列式遥测压缩把存储成本最多降低 90%。

一套可私有化部署的企业级 Agentic AI 平台，让大模型在本地安全访问敏感数据和内部系统，避免数据外泄。

面向 Apple Silicon Mac 的实时系统监控工具，无需 sudo 即可查看 CPU、GPU 等硬件指标，提供 TUI 界面、JSON/Prometheus 指标服务和 Rust 库。

Postgres 里的可扩展向量检索扩展，pgvecto.rs 的继任者，主打快速、省磁盘，适合在现有数据库里直接做大规模向量搜索。

面向 ggml 生态的开源 LLM/VLM 负载均衡与推理服务平台，用更少组件和简单部署在 CPU/GPU 上自托管大模型，可替代 llm-d 等方案。

Keep an eye on system resources

bencher

bencherdev·Rust

持续基准测试平台，在 CI 中自动追踪代码性能变化，防止性能回归，适合关注代码质量的团队。

motorhead

getmetal·Rust

给 LLM 应用提供记忆与信息检索能力的服务端，用 Rust 实现，帮你在对话中持久化上下文并做检索，省去自己搭记忆层。

用 Rust 写的高性能 RAG 与 LLM 应用框架，支持流式索引、检索和智能体编排，适合构建低延迟的检索增强生成服务。

面向 LLM 应用的统一网关，集中治理与保护各家大模型 API 调用，支持 MCP 协议接入。

用 Rust 写的 NVIDIA GPU 终端监控面板，能实时查看显存占用和进程，比反复敲 nvidia-smi 更直观高效。