评估 · 实验 · MLOps
共 240 个仓库 · 一年内有推送
斯坦福 CRFM 出品的 Python 评测框架，对基础模型和大语言模型做全面、可复现、透明的基准测试，方便横向对比模型能力。
面向小型本地大模型的编码智能体测试框架，基于终端基准评估代码生成与工具调用能力，方便对比不同小模型的实际表现。
用一句自然语言提示就能自动构建机器学习模型，多智能体协作完成数据理解、特征工程和训练调参，省去手工搭流程的麻烦。
在 NVIDIA Jetson 系列开发板上实时查看 CPU、GPU、内存和功耗状态，还能直接调整风扇与功耗模式，省去手动翻 sysfs 的麻烦。
用 Python 函数声明式定义数据流，自动生成可测试、带血缘追踪的 DAG，省去手写编排代码，适合数据工程和特征工程。
基于 eBPF 的 Linux 终端网络流量嗅探工具，用 TUI 界面实时查看内核层抓包结果，排查网络和安全问题不用再开笨重的图形工具。
用状态机和图结构搭建聊天机器人、智能体等决策型应用，自带监控、追踪与持久化，可跑在自己的基础设施上。
用 Rust 构建的统一基础设施可观测平台，基于数据湖架构统一采集日志、指标、链路和事件，靠列式遥测压缩把存储成本最多降低 90%。
CNCF 沙箱孵化的可观测性可视化平台，用一套仪表盘统一展示 Prometheus、Tempo、Loki、Pyroscope 等数据源的监控指标与追踪信息。
把远程机器上的 GPU 通过 IP 网络桥接给只有 CPU 的机器使用，让无显卡设备也能跑 CUDA 计算和推理任务。
用 YAML 声明式数据契约来定义和校验数据质量，支持数据剖析、监控与测试，帮数据团队尽早发现数据可靠性问题。
一套可私有化部署的企业级 Agentic AI 平台，让大模型在本地安全访问敏感数据和内部系统，避免数据外泄。
给 Claude Code、Codex、OpenCode 等编码代理提供可跨工具共享的本地项目记忆，并根据运行记录统计 token 消耗，全程本地文件读写、不联网。
在终端里实时查看 Apple Silicon Mac 的 CPU、GPU、内存和功耗，界面类似 top，适合跑本地模型时盯资源占用。
单二进制 C++ 流式 SQL 引擎，毫秒级延迟、百 GB/s 吞吐，可从日志、指标、事件和 CDC 流中持续计算有状态上下文。
用声明式配置为人类和 AI Agent 构建可复现的开发环境，基于 Docker 和 BuildKit 打包依赖，解决环境不一致、难以复现的问题。
本地优先统计 Claude Code、Codex、Cursor 等 31 款编程工具的 token 用量与费用，不读取提示词，提供原生桌面应用和仪表盘。
基于 eBPF 自动采集 Web 应用和网络指标，无需改代码就能拿到可观测数据，适合快速接入监控和链路追踪。
面向 Apple Silicon Mac 的实时系统监控工具，无需 sudo 即可查看 CPU、GPU 等硬件指标，提供 TUI 界面、JSON/Prometheus 指标服务和 Rust 库。
把日志、链路追踪和指标统一摄入并存入 S3 兼容存储，支持用自然语言通过 LLM 查询，适合自建可观测性平台。
可扩展的 Java HTTP 请求与响应日志库，能自动记录客户端和服务端的完整通信内容，方便排查接口问题和做可观测性。
用 Docker Compose 一条命令拉起预配置好的 Elastic Stack v9+，开箱即用日志、指标、APM、告警、机器学习和 SIEM 功能。
TypeScript 优先的结构化日志与可观测性库，用宽事件和结构化错误替代翻日志碰运气，支持多种运行时。
把 NVIDIA GPU 的硬件遥测数据导出成 Prometheus 指标，方便监控显卡温度、功耗、显存和利用率等运行状态。