统一评测语言模型少样本能力的框架,支持多种任务和模型,方便横向对比不同模型的性能表现。
命令行基准测试工具,能对任意 shell 命令做多次运行统计,自动给出耗时分布和置信区间,方便比较不同实现的性能差异。
用 Markdown 写一次 AI 编码助手的插件、技能和命令,再由生成器适配 Claude Code、Codex CLI、Cursor 等各家工具,省去重复维护。
给 Python 脚本和命令行程序加进度条的库,循环、pandas、Keras、多进程都能用,速度快、可扩展,还能在终端和 Jupyter 里显示。
用 Python 写的 Game Boy 模拟器,能跑原版卡带游戏,还提供库接口方便在 Python 里做游戏逻辑测试和 AI 实验。
把 NumPy 风格的 Python 代码自动微分、向量化并 JIT 编译到 GPU/TPU,写起来像 NumPy,跑起来像高性能计算。
基于 GraphBLAS 稀疏邻接矩阵实现的高性能图数据库,主打为 LLM 提供知识图谱支撑,适合做 GraphRAG 检索增强。
基于 OpenTelemetry 的 LLM 应用可观测性工具,能追踪调用链、采集指标并监控模型表现,帮你在生产环境定位 GenAI 应用的性能与质量问题。
面向数据库的开源 MCP 服务器,让 AI 代理和 LLM 通过统一协议安全访问 BigQuery、ClickHouse、Elasticsearch 等多种数据源。
高性能 AI 流水线引擎,C++ 内核搭配 50+ 可扩展 Python 节点,支持多模型提供商、向量数据库和 Agent 编排,可在 IDE 中构建调试 LLM 工作流。
用 Rust 写的高性能开源文档解析器,能从 PDF 等文档中快速提取文本和 OCR 识别结果,适合给 RAG 和检索流程做预处理。
低内存占用的高性能图像处理库,支持 JPEG、HEIC、GIF、OpenEXR 等格式,适合替代 ImageMagick 处理大批量图片。
统一接入 375 家模型供应商、1400+ 模型的 MIT 协议 AI 网关,配额感知自动降级,并用压缩省下 15-95% token,兼容 Claude Code、Cursor 等编码工具。
面向文本嵌入模型的高性能推理服务,用 Rust 编写,可快速把文本转成向量,适合搭建检索和 RAG 的向量化后端。
NVIDIA 官方的高性能深度学习推理 SDK,能把训练好的模型在 NVIDIA GPU 上做极致加速和部署,适合追求低延迟高吞吐的生产推理场景。
把训练好的深度学习模型优化并部署到 Intel CPU、GPU 等硬件上做推理,支持视觉、LLM 和生成式模型,省去自己折腾底层加速的麻烦。
面向本地部署的高速大模型推理引擎,通过稀疏激活与量化等技术,让消费级显卡也能流畅跑起 Llama 类模型。
一个 Rust 单二进制实现的 AI 搜索引擎兼 MCP 服务器,把代码、文档、日志、JSONL/CSV 和 PDF 统一索引,为智能体和机器人提供 BM25 全文、向量、混合检索、免 grep 代码搜索、Agent 记忆与 RAG 能力。
用 Rust 构建模块化、可扩展 LLM 应用的框架,把模型调用、Agent 编排和工具集成做成可组合组件,适合追求性能与类型安全的团队。
高性能 AI 网关,用一套 OpenAI 兼容 API 统一接入上万模型,内置故障转移、负载均衡、语义缓存、虚拟密钥与预算管控,额外延迟低于 200µs。