把训练好的深度学习模型优化并部署到 Intel CPU、GPU 等硬件上做推理,支持视觉、LLM 和生成式模型,省去自己折腾底层加速的麻烦。
统一的 PyTorch 训练框架,让同一份代码在单卡到上万张 GPU 上都能跑,免去改代码就能做预训练和微调。
在终端里直接调用 GPT、Llama、Ollama 等大模型,用自然语言生成并执行 shell 命令,省去查手册和拼参数的时间。
面向开发者的模型优化框架,能对扩散模型、LLM、语音识别等模型做压缩加速,以极低改造成本换来更快、更省资源的推理。
为 Transformers、Diffusers 等模型提供硬件加速与量化、ONNX 导出等优化工具,让推理和训练在各类硬件上跑得更快。
一款 ONNX 模型优化工具,通过精简计算图和冗余节点来减小模型体积、提升推理速度,适合部署前做模型瘦身。
对 ONNX 模型做图级优化的 Python 工具,通过算子融合、常量折叠等变换精简计算图,让推理更快、模型更小。
高通官方维护的预优化模型库,模型已针对延迟和内存调优,可直接部署到骁龙等高通设备上推理。
面向流式和端侧场景优化的 Whisper 语音识别模型,支持 Apple Silicon、CoreML、MLX 和 NVIDIA GPU,可做实时转写与翻译。
解析、编辑、优化和性能分析 ONNX 模型的 Python 工具,方便查看模型结构、修改计算图并定位推理瓶颈。
把 Hugging Face 的 Transformers、Diffusers 等模型接到 Intel 的 OpenVINO 等优化工具上,加速 CPU/GPU 推理,覆盖 LLM、语音识别、语音合成和多模态模型。
高通 AI Hub 应用集,提供针对高通设备优化过延迟和内存的机器学习模型,可直接部署到骁龙等终端上跑推理。
…环境](https://github.com/xushengfeng/myde) 和 [lime 大模型优化的拼音输入法](https://github.com/xushengfeng/lime) 也欢迎大家支持
…务模板增加 二、大模型与推理服务优化 - 大模型对话优化 - 大模型微调可选值优化 - 大模型可选值模型优化 - 推理服务优化 - 推理服务模型地址支持 {{creator}} - 去除 VLLM 的 AIHub - 升级 LLaMAFactory 镜像版本及相关任务模板 - 升级 ML-Server 镜像版本 - 优化 ML-Serve
…务模板增加 二、大模型与推理服务优化 - 大模型对话优化 - 大模型微调可选值优化 - 大模型可选值模型优化 - 推理服务优化 - 推理服务模型地址支持 {{creator}} - 去除 VLLM 的 AIHub - 升级 LLaMAFactory 镜像版本及相关任务模板 - 升级 ML-Server 镜像版本 - 优化 ML-Serve