搜索 · OSS Radar

「MoE」找到 13 个结果 · 14ms命中词：moemo只看有点评

ms-swift

modelscope·Python

一站式大模型训练框架，支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练，可用 LoRA 等 PEFT 方式或全参数微调。

训练框架+4

160810—

modelscope/ms-swift · 21.51

vllm

vllm-project·Python

面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

推理引擎+4

967010—

vllm-project/vllm · 14.57

sglang

sgl-project·Python

高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。

推理服务框架+4

387060—

sgl-project/sglang · 14.53

LlamaFactory

hiyouga·Python

一套统一接口搞定 100+ 大语言模型和多模态模型的微调，支持 LoRA 等高效训练方式，省去为每个模型单独写训练脚本的麻烦。

微调框架+4

759910—

hiyouga/LlamaFactory · 14.23

DeepEP

deepseek-ai·Cuda

面向 MoE 模型的高效专家并行通信库，专门优化 GPU 间 all-to-all 分发与合并，降低大规模稀疏模型训练和推理的通信开销。

专家并行+4

104310—

deepseek-ai/DeepEP · 13.66

turbo-fieldfare

drumih·Swift

在任意 M 系列 MacBook 上仅用约 2GB 内存跑 Gemma 4 26B-A4B 大模型推理，靠 Metal GPGPU 把 MoE 模型塞进本地设备。

本地推理+4

73290—

drumih/turbo-fieldfare · 13.49

kimi-k3-in-c

FareedKhan-dev·C

用纯 C99 从零实现的 Kimi K3 推理引擎，单 CPU、8.24 GB 内存即可跑 2.78 万亿参数模型，不依赖 BLAS、框架或 GPU。

推理引擎+4

116800—

FareedKhan-dev/kimi-k3-in-c · 13.34

TensorRT-LLM

NVIDIA·Python

用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。

推理引擎+4

150560—

NVIDIA/TensorRT-LLM · 13.25

DeepSpeed

deepspeedai·Python

基于 PyTorch 的深度学习优化库，通过 ZeRO、模型并行和混合专家等技术，让千亿到万亿参数模型的分布式训练与推理更省显存、更高效。

分布式训练+4

433190—

deepspeedai/DeepSpeed · 13.07

llmfit

AlexsJones·Rust

一条命令就能从数百个模型和供应商里筛出适合你硬件配置的本地大模型，省去逐个试跑和查显存的麻烦。

本地推理+4

389040—

AlexsJones/llmfit · 11.85

MiniCPM-V

OpenBMB·Python

MiniCPM-V 是面壁智能开源的多模态视觉语言模型，能在手机、PC 等本地设备上完成看图、听音和对话交互，无需依赖云端。

多模态+4

271280—

OpenBMB/MiniCPM-V · 11.8

train-llm-from-scratch

FareedKhan-dev·Python

从下载数据到生成文本，手把手教你从零训练自己的大语言模型，适合想搞懂 LLM 训练全流程的开发者动手实践。

大模型训练+4

131910—

FareedKhan-dev/train-llm-from-scratch · 11.62

OpenMythos

kyegomez·Python

从公开研究文献出发，用第一性原理复现 Claude Mythos 架构的理论实现，供研究者拆解其注意力机制与模型设计思路。

模型架构复现+3

149220—

kyegomez/OpenMythos · 11.36

发布说明里提到「MoE」

来自 6 个版本