把训练好的深度学习模型优化并部署到 Intel CPU、GPU 等硬件上做推理,支持视觉、LLM 和生成式模型,省去自己折腾底层加速的麻烦。
统一的 PyTorch 训练框架,让同一份代码在单卡到上万张 GPU 上都能跑,免去改代码就能做预训练和微调。
在终端里直接调用 GPT、Llama、Ollama 等大模型,用自然语言生成并执行 shell 命令,省去查手册和拼参数的时间。
…环境](https://github.com/xushengfeng/myde) 和 [lime 大模型优化的拼音输入法](https://github.com/xushengfeng/lime) 也欢迎大家支持
…务模板增加 二、大模型与推理服务优化 - 大模型对话优化 - 大模型微调可选值优化 - 大模型可选值模型优化 - 推理服务优化 - 推理服务模型地址支持 {{creator}} - 去除 VLLM 的 AIHub - 升级 LLaMAFactory 镜像版本及相关任务模板 - 升级 ML-Server 镜像版本 - 优化 ML-Serve
…务模板增加 二、大模型与推理服务优化 - 大模型对话优化 - 大模型微调可选值优化 - 大模型可选值模型优化 - 推理服务优化 - 推理服务模型地址支持 {{creator}} - 去除 VLLM 的 AIHub - 升级 LLaMAFactory 镜像版本及相关任务模板 - 升级 ML-Server 镜像版本 - 优化 ML-Serve