快速且省显存的精确注意力实现,支持训练和推理,能显著加速 Transformer 长序列计算。
ONNX 是开放的机器学习模型交换格式标准,让 PyTorch、TensorFlow、Keras 等框架训练出的模型能互相转换、跨平台部署。
在 Jupyter 里交互式可视化 BERT、GPT-2、RoBERTa 等 Transformer 模型的注意力权重,帮助理解模型内部机制。
基于 PyTorch 的深度学习优化库,通过 ZeRO、模型并行和混合专家等技术,让千亿到万亿参数模型的分布式训练与推理更省显存、更高效。
用纯 Rust 从零实现的开源非线性视频编辑器,支持多轨道剪辑与视频处理,适合想要轻量、高性能剪辑工具的用户。
面向 LLM 推理服务的高性能 CUDA 内核库,提供注意力、MoE 等算子的 JIT 实现,用来加速 GPU 上的大模型推理。
用一套可读的 Einstein 记号统一 PyTorch、JAX、TensorFlow 等框架的张量操作,让 reshape、转置、rearrange 这类代码更清晰、更不容易出错。
RWKV 是一种兼具 RNN 与 Transformer 优势的语言模型架构,支持像 GPT 一样并行训练,推理时线性时间、常量显存、无限上下文,无需 KV 缓存。
…orm、InstanceNorm 新增 subgroup 归约,采用中心化与补偿 FP32 累加改善长序列和大离群值场景的均值/方差精度;同时处理 packed group 边界、cstep 和跨 subgroup 合并,并拆分 group/channel 调度以避免 dispatch 数量超限。(@futz12) - LayerNorm
…llel)校准,提升大模型校准效率 309 349 - 修复 GPTQ 的 Hessian 计算、变长序列支持及层输出类型处理 318 - 优化 SmoothQuant 配置与权重转换脚本(convert smooth weight.py),统一 YAML 路径与默认配置 327 337 339 341 344 - 将 INT8/FP8/