评估 · 实验 · MLOps
共 262 个仓库
The Security Toolkit for LLM Interactions
一个动态 AI Agent 自动化平台，能跨不同模型供应商编排指令管理和复杂任务执行，内置自适应记忆与插件系统。
Inspect 是一个用 Python 编写的大语言模型评测框架，帮助研究者系统化地设计、运行和分析模型评估实验。
面向后端的网络请求检查工具，能抓取并查看服务发出的 HTTP 调用，方便排查接口问题和调试线上行为。
面向大模型推理与 GPU 训练的高性能存储引擎，用 Rust 编写，通过 RDMA 等技术提升模型加载和服务吞吐。
面向性能敏感场景的超低延迟异步 C++17 日志与指标库，用异步写入避免日志拖慢主线程。
可视化编程环境，用来对 LLM 提示词做压力测试和效果对比，方便快速验证不同提示方案的表现。
斯坦福 CRFM 出品的 Python 评测框架，对基础模型和大语言模型做全面、可复现、透明的基准测试，方便横向对比模型能力。
面向小型本地大模型的编码智能体测试框架，基于终端基准评估代码生成与工具调用能力，方便对比不同小模型的实际表现。
用一句自然语言提示就能自动构建机器学习模型，多智能体协作完成数据理解、特征工程和训练调参，省去手工搭流程的麻烦。
在 NVIDIA Jetson 系列开发板上实时查看 CPU、GPU、内存和功耗状态，还能直接调整风扇与功耗模式，省去手动翻 sysfs 的麻烦。
用 Python 函数声明式定义数据流，自动生成可测试、带血缘追踪的 DAG，省去手写编排代码，适合数据工程和特征工程。
基于 eBPF 的 Linux 终端网络流量嗅探工具，用 TUI 界面实时查看内核层抓包结果，排查网络和安全问题不用再开笨重的图形工具。
用状态机和图结构搭建聊天机器人、智能体等决策型应用，自带监控、追踪与持久化，可跑在自己的基础设施上。
用 Rust 构建的统一基础设施可观测平台，基于数据湖架构统一采集日志、指标、链路和事件，靠列式遥测压缩把存储成本最多降低 90%。
CNCF 沙箱孵化的可观测性可视化平台，用一套仪表盘统一展示 Prometheus、Tempo、Loki、Pyroscope 等数据源的监控指标与追踪信息。
把远程机器上的 GPU 通过 IP 网络桥接给只有 CPU 的机器使用，让无显卡设备也能跑 CUDA 计算和推理任务。
用 YAML 声明式数据契约来定义和校验数据质量，支持数据剖析、监控与测试，帮数据团队尽早发现数据可靠性问题。
一套可私有化部署的企业级 Agentic AI 平台，让大模型在本地安全访问敏感数据和内部系统，避免数据外泄。
给 Claude Code、Codex、OpenCode 等编码代理提供可跨工具共享的本地项目记忆，并根据运行记录统计 token 消耗，全程本地文件读写、不联网。
在终端里实时查看 Apple Silicon Mac 的 CPU、GPU、内存和功耗，界面类似 top，适合跑本地模型时盯资源占用。
单二进制 C++ 流式 SQL 引擎，毫秒级延迟、百 GB/s 吞吐，可从日志、指标、事件和 CDC 流中持续计算有状态上下文。
用声明式配置为人类和 AI Agent 构建可复现的开发环境，基于 Docker 和 BuildKit 打包依赖，解决环境不一致、难以复现的问题。
本地优先统计 Claude Code、Codex、Cursor 等 31 款编程工具的 token 用量与费用，不读取提示词，提供原生桌面应用和仪表盘。