模型工具链
共 94 个仓库 · 一年内有推送 · Python
在工具输出、日志、文件和 RAG 片段进入 LLM 前先做压缩，编码 Agent 省约 20% token，JSON 省 60-95%，答案不变。提供库、代理和 MCP 服务器三种用法。
用 PyTorch 逐行复现 60 多篇深度学习经典论文，代码旁配注释讲解，涵盖 Transformer、优化器、GAN、强化学习等，适合边读论文边对照实现学习。
无需训练即可修改语言模型行为，通过消融技术去除审查、抑制废话、减少谄媚，让模型输出更直接可控。
把 NumPy 风格的 Python 代码自动微分、向量化并 JIT 编译到 GPU/TPU，写起来像 NumPy，跑起来像高性能计算。
通用大模型部署引擎，借助机器学习编译技术把 LLM 高效跑在各种硬件上，从手机到服务器都能用。
ONNX 是开放的机器学习模型交换格式标准，让 PyTorch、TensorFlow、Keras 等框架训练出的模型能互相转换、跨平台部署。
OpenAI 官方开源的高速 BPE 分词器，专为 GPT 系列模型设计，能快速把文本切成 token，适合训练和推理时做文本预处理。
用小型专用模型搭建企业级 RAG 流水线的统一框架，覆盖文档解析、检索和智能体编排，适合在本地或私有环境部署。
把深度学习模型编译到 CPU、GPU 及各类加速器上运行的开源编译器框架，通过统一中间表示和自动调优提升推理性能。
基于飞桨的 NLP 与大模型开发库，提供丰富模型库，覆盖 BERT、ERNIE、LLaMA 等，支持分布式训练、压缩和文档智能等任务。
预训练的企业级语音活动检测（VAD）模型，能精准切分音频中的说话段与静音段，支持 ONNX 和 PyTorch 部署，适合语音识别、语音指令等场景的前置处理。
让大模型在普通显卡上跑起来的 PyTorch 量化库，支持 8-bit 和 4-bit 权重压缩，也是 QLoRA 微调背后的核心依赖。
在 Apple Silicon 上通过 MLX 框架运行大语言模型，支持加载、推理和微调，让 Mac 本地跑 LLM 更省心。
用 Triton 重写 LLM 训练中的 RMSNorm、RoPE、交叉熵等关键算子，减少显存占用并提升微调吞吐，兼容 Llama、Mistral、Gemma、Phi 等主流模型。
一条命令就能搭好包含 Caffe、Keras、MXNet 等主流框架的深度学习 Docker 环境，省去逐个配置依赖的麻烦。
统一管理 GPU 集群，调度 vLLM、SGLang 等推理引擎做高性能模型服务，还能按需开出可 SSH 登录的 GPU 实例。
一个能自主感知上下文的桌面 AI 伴侣，通过实时屏幕视觉、窗口追踪和 ONNX 语音合成，配合带表情的悬浮界面与你互动。
PyTorch 官方的端侧推理框架，把训练好的模型导出并部署到手机、嵌入式和边缘设备上运行，覆盖 CPU、GPU 等多种后端。
端侧唤醒词检测引擎，用深度学习在本地识别自定义唤醒词，无需联网即可实现语音激活。
100M 参数的多语言语音合成模型，能在 CPU 上实时推理，支持音色克隆和 48kHz 立体声输出，适合本地部署轻量 TTS。
收集大量预训练模型，并已转成 TensorFlow、PyTorch、ONNX、OpenVINO、TFLite、CoreML 等格式，省去自己跨框架转换的麻烦。
把 PyTorch 等导出的 ONNX 模型做图优化和算子融合，去掉冗余节点、简化计算图，方便部署和推理加速。
把 OpenAI Whisper 做成近实时的语音转文字服务，支持 TensorRT、OpenVINO、ROCm 等硬件加速，适合直播字幕和听写场景。
面向 vLLM 生产推理的 LLM 压缩工具，支持量化等压缩算法，把大模型压小以便高效部署。