在 LLaMA/Alpaca 基础上扩充中文词表并做中文增量预训练,提供可本地 CPU/GPU 部署的中文大模型及 LoRA 微调、量化方案。
汇集土堆 PyTorch、李沐《动手学深度学习》、吴恩达深度学习和大模型 Agent 四套课程的中文笔记,适合系统入门深度学习与大模型应用开发。
提供中文 BERT-wwm 系列预训练模型,用全词掩码技术提升中文 NLP 任务效果,可直接加载微调。
中文 LLaMA-2 与 Alpaca-2 大模型二期项目,提供支持 64K 超长上下文的中文预训练和指令微调模型,可直接用于长文本理解与对话。
中文版 CLIP 预训练模型,支持中文图文跨模态检索和表征生成,可直接用于图文匹配、零样本分类等任务。
用 Rust 实现的高性能分词器库,支持 BERT、GPT 等主流模型,兼顾研究实验与生产部署,解决文本预处理速度慢、跨语言调用不便的问题。
汇总可私有化部署的中文大语言模型资源清单,覆盖小规模底座模型、垂直领域微调、数据集与教程,方便低成本选型落地。