在 LLaMA/Alpaca 基础上扩充中文词表并做中文增量预训练,提供可本地 CPU/GPU 部署的中文大模型及 LoRA 微调、量化方案。
面向大模型微调、RAG 和评测的数据集制作工具,支持数据生成、清洗与导出,省去手工整理训练数据的麻烦。
… @ymcui in https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/pull/490 YaRN support implementation by @iMountTai in https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/pull/505
本次更新推出长上下文版模型Chinese-LLaMA-2-7B-64K和Chinese-Alpaca-2-7B-64K,可直接应用于各类长文本下游任务。推出人类偏好对齐版模型Chinese-Alpaca-2-1.3B-RLHF和Chinese-Alpaca-2-7B-RLHF,大幅提升正确价值观表达能力。 🚀 Chinese-LLaMA
本次更新推出小参数量基座/聊天模型Chinese-LLaMA-2-1.3B和Chinese-Alpaca-2-1.3B,以及对投机采样解码策略的支持 🚀 Chinese-LLaMA-2-1.3B、Chinese-Alpaca-2-1.3B,投机采样解码策略 - 推出4层的小参数量中文LLaMA/Alpaca模型,使用和大模型相同数据量进
本次更新推出长上下文版聊天/指令模型Chinese-Alpaca-2-7B-16K和Chinese-Alpaca-2-13B-16K,可直接应用于各类长文本下游任务。 🚀 Chinese-Alpaca-2-7B-16K、Chinese-Alpaca-2-13B-16K - 与Chinese-LLaMA-2-16K类似,通过[位置插值方法
…长上下文版模型评测](https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/tree/16k 长上下文版模型评测) - 主要处理长文本时,建议使用16K版;日常使用请选择标准版模型 注意事项 - transformers 4.31.0以上版本可直接加载16K模型;llama.cpp下则需要在推理时
…时推出Plus-33B系列模型。 同时,我们也很高兴地向大家宣布新项目启动:[ 中文LLaMA-2、Alpaca-2大模型🦙 ](https://github.com/ymcui/Chinese-LLaMA-Alpaca-2) 🚀 推出中文Alpaca-Pro系列模型 - 针对早期Alpaca相关模型回复较短的问题进行优化,使其回复长