搜索 · OSS Radar

「token 高效」找到 8 个结果 · 12ms命中词：高效token只看有点评

LLMs-from-scratch

rasbt·Jupyter Notebook

从零用 PyTorch 一步步实现类 ChatGPT 大语言模型，覆盖注意力机制、预训练、指令微调全流程，适合边跑代码边理解 LLM 内部原理。

大语言模型+4

1082220—

rasbt/LLMs-from-scratch · 13.39

Chinese-LLaMA-Alpaca

ymcui·Python

在 LLaMA/Alpaca 基础上扩充中文词表并做中文增量预训练，提供可本地 CPU/GPU 部署的中文大模型及 LoRA 微调、量化方案。

中文大模型+4

189150—

ymcui/Chinese-LLaMA-Alpaca · 11.83

faiss

facebookresearch·C++

面向稠密向量的高效相似度检索与聚类库，支持十亿级向量近邻搜索，是构建向量数据库和 RAG 检索层的底层引擎。

向量检索+4

414020—

facebookresearch/faiss · 11.71

LlamaFactory

hiyouga·Python

一套统一接口搞定 100+ 大语言模型和多模态模型的微调，支持 LoRA 等高效训练方式，省去为每个模型单独写训练脚本的麻烦。

微调框架+4

759960—

hiyouga/LlamaFactory · 11.69

airllm

lyogavin·Jupyter Notebook

单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案，通过逐层加载权重把显存需求压到极低，适合本地低配设备部署大模型。

大模型推理+4

421570—

lyogavin/airllm · 11.67

DeepEP

deepseek-ai·Cuda

面向 MoE 模型的高效专家并行通信库，专门优化 GPU 间 all-to-all 分发与合并，降低大规模稀疏模型训练和推理的通信开销。

专家并行+4

104310—

deepseek-ai/DeepEP · 11.16

ART

OpenPipe·Python

用 GRPO 强化学习给多步 Agent 做在线训练，让 Qwen、Llama 等模型在真实任务里边干边学，提升实际表现。

OpenPipe/ART · 10.91

PyTorch 官方的生成式 AI 模型训练平台，提供原生分布式训练组件和可复用的并行策略，帮你在多卡集群上高效训练大模型。

训练框架+4

58930—

pytorch/torchtitan · 10.81

发布说明里提到「token 高效」

来自 6 个版本