标签：GGUF

把「本地跑大模型」压缩成一条命令，最适合做原型和日常使用

单卡也能压榨出高吞吐的 LLM 推理引擎，PagedAttention 基本成了行业标准

把 LoRA/QLoRA 微调从写训练脚本变成点几下，省显存省时间，顺带给你一个本地推理 UI

把 100+ LLM/VLM 的 SFT、DPO、PPO 收敛到一套配置和 CLI 上，省掉每个模型重写训练脚本

自托管的 OpenAI 兼容推理网关，把 LLM、语音、图像收敛到一个进程里，省掉为每种模态单独部署一套服务

终端里直接改你现有仓库并自动 git 提交的 AI 结对编程 CLI，替代手工复制粘贴到聊天窗口

把 LLM 接进 QQ、飞书、Telegram 等 IM 的 Python 机器人框架，替代自己写适配层和插件系统

用磁盘换显存，让单卡 4GB 跑 70B 的分层流式推理库

在装模型之前先跑一遍，把「这台机器能跑哪些量化版本」从试错变成一次查询

前缀复用做得最好的推理框架，RAG 与多轮对话场景吞吐明显占优

把本地模型接成中文知识库问答的完整应用层，省掉自己拼 LangChain 检索链和 WebUI 的活

开源 TTS 里少数能同时做音色克隆、多说话人和标签式情绪控制的方案，顶替商用 TTS API

把仓库压成单个 LLM 可读文件，替代手写拼接脚本和逐文件粘贴

把视觉编码器接到 LLaMA 系语言模型上的视觉指令微调参考实现，也是多数开源 VLM 的对照基线

中文小模型选型的第一站，用来替代自己翻 HuggingFace 榜单和零散博客

在 LLaMA 上扩中文词表再预训练的中文基座，产出的是 LoRA 增量而不是可直接加载的模型

Meta 官方 Llama 示例库，用 notebook 顶替你自己从零搭的推理、微调、RAG 样板代码

给多家 LLM API 和本地模型套一层 Gradio Web UI，替代自己写前端和会话管理

把歌词和风格提示先规划成乐谱再渲染成整首歌，需要可编辑中间产物时用它

JVM 上统一各家 LLM 与向量库 API 的抽象层，用来替代手写各家 SDK 的胶水代码

飞桨生态里做大模型微调、量化和多硬件推理的一体化套件，替代 HuggingFace 加 vLLM 那套组合

把开源权重模型包装成 OpenAI 兼容端点，省掉自己写推理服务和部署脚本

把 shell 里临时查命令、拼管道、写一次性脚本的动作换成一次 LLM 调用

用 YAML 声明式地定义训练与微调流程，替代手写 PyTorch 训练循环和 Trainer 样板代码

把 LLM 网关、推理日志、评估和 A/B 实验放进一套自托管系统，替换掉拼凑的 LiteLLM + Langfuse + 自研脚本

一份 YAML 加层流式，让 4 GB 笔记本显卡也能跑 8B 模型的 LoRA 微调

单卡消费级 GPU 上跑 40B 级稀疏模型的 CPU/GPU 混合推理引擎，顶替 llama.cpp 在显存不够时的位置

在 Android 设备上把 LLM 接到系统权限和终端里的 Agent 运行时，替代你自己拼 Tasker 加脚本那一套

把 SFT/DPO/GRPO 训练、评测、推理和上云打包成 recipe 配置的开源训练编排层

一份按 LLM 工程环节分类的索引，用来替代你自己维护的收藏夹和散落的 awesome 链接

把 kubectl 的原始报错翻译成人话，在排查前先跑一遍的分析器集合

在 LLM 调用前加一层语义缓存，把重复或近似的问题挡在 API 之外

把 HF 权重压成 4bit 并用 TurboMind 引擎跑高吞吐推理，顶替 vLLM 在国产卡和量化场景的位置

在权重空间把多个微调模型拼成一个，替代再训练一轮的合并工具

中文 Llama-2 生态里唯一同时给出扩词表权重、长上下文扩展和完整训练脚本的一套

用 Zod schema 把 Playwright 抓到的页面交给 LLM 抽成结构化对象，替代手写选择器和正则

用 Triton 重写 LLM 训练里的 RMSNorm、RoPE、SwiGLU、CrossEntropy 等算子，一行 patch 替换 HF 模型里的原实现

在自有 GPU 节点上编排多机训练任务并做容错调度，替代手工 SSH 加脚本拼集群

本地多模型推理的统一入口，按请求里的 model 字段热切换上游服务

在 AMD GPU/NPU 上跑本地模型的 OpenAI 兼容服务，顶替 Ollama 在 AMD 硬件上的位置

把散落的 GPU 机器收成一个可调度的推理集群，顶替手写 docker run 加 vLLM 启动脚本那套

纯 Rust 单二进制的本地 GGUF 推理服务器，用来顶替 llama.cpp server 或 Ollama 那一层

给自托管 Ollama 服务套一个原生 SwiftUI 前端，替代浏览器里的 Open WebUI 或命令行 curl

给 Paperless-ngx 补上 AI 自动打标和 RAG 问答，省掉自己写胶水脚本

把通用底座改造成医疗领域模型的全流程训练脚本集，从增量预训练一路做到 GRPO

自托管 llama.cpp 的网页聊天前端，用 Docker 一条命令替代 OpenAI 式在线对话界面

把本地微调、评测和集群提交塞进一个 Electron 界面的研究环境，替代手写训练脚本加散落的评测工具链

把 LLM 微调从写训练脚本变成填表单，顶替的是自己拼 Trainer 加 wandb 的那套脚手架

把 LLM、RAG、Agent、Eval 拆成能逐行读完的最小实现，用来替换只会调 API 的黑盒认知

Repo for BenCao [original name: HuaTuo (华驼)], Instruction-tuning Large Language Models with Chinese Medical Knowledge. 本草（原名：华驼）模型仓库，基于中文医学知识的大语言模型指令微调