统一评测文本、图像、视频和音频任务的多模态大模型工具箱,一套流程跑完各类基准,省去为每个模态单独搭评测脚本的麻烦。
面向 LLM 应用的自动化评测工具,用合成测试集和多种指标量化 RAG 与生成效果,帮你在上线前发现质量问题。
面向 AI 研究者的开源实验环境,可在本地硬件到 GPU 集群之间无缝训练、评估和扩展大模型与扩散模型。
一本覆盖 LLM Agent 全流程的实战手册,提供 60+ 代码骨架、教程、生态指南和评测工具,帮你从零搭建、部署并理解智能体系统。
用 VQAScore 给文生图、文生视频和文生 3D 模型打分的评测工具,基于视觉语言模型判断生成内容与文本提示是否匹配。
把散落的 SKILL.md 文件整理成可检索、可评测的智能体技能语料库,自带检索与评测工具,方便给 Agent 搭建技能库。
…window index 和时间维 mRoPE 处理 工具 NeedleBench :新增长文本检索评测工具、压缩检查模式和 iOS mnn-llm demo 运行入口 iOS LLM 一键性能测试 :新增设备端 benchmark 流程 llm bench -pg :支持共享 KVCache 的 Prefill / Decode 联合测
…务进行性能(延迟、吞吐)或精度评测 - bench serve \ bench latency 精度评测工具 4160 4239 - bench throughtput \ bench eval 性能评测工具 4239 - collect-env:收集并打印系统、GPU、依赖等运行环境信息 4044 4558 4159 - run-bat