标签：GGUF
技术标签，共 162 个项目。
本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。
面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。
本地跑和训练大模型、扩散模型的图形界面，支持 GGUF、MLX 及 Qwen、DeepSeek、Gemma、FLUX 等主流模型，省去命令行配置的麻烦。
一套统一接口搞定 100+ 大语言模型和多模态模型的微调，支持 LoRA 等高效训练方式，省去为每个模型单独写训练脚本的麻烦。
开源本地 AI 推理引擎，无需 GPU 即可在任意硬件上跑 LLM、视觉、语音和图像生成模型，提供兼容 OpenAI 的 API。
在终端里跑 AI 结对编程，让大模型直接读写本地代码库、自动改文件并提交 git，省去在编辑器和聊天窗口间来回粘贴。
一个把 QQ、Discord 等聊天平台与大模型、插件和 MCP 能力串起来的 AI Agent 开发框架，能快速搭建多平台聊天机器人和智能助手。
单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案，通过逐层加载权重把显存需求压到极低，适合本地低配设备部署大模型。
一条命令就能从数百个模型和供应商里筛出适合你硬件配置的本地大模型，省去逐个试跑和查显存的麻烦。
基于 Langchain 和 ChatGLM、Qwen、Llama 等本地大模型搭建的知识库问答应用，支持 RAG 检索增强与 Agent 能力，可离线部署私有文档问答系统。
高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。
开源的高质量语音合成模型，基于 VQGAN 和 Llama 架构，支持多语言文本转语音，效果达到 SOTA 水平。
把整个代码仓库打包成单个 AI 友好文件，方便直接喂给 ChatGPT、Claude 等大模型做代码理解与分析。
开源的多模态视觉指令微调模型，让 LLaMA 类大模型能看图对话，效果对标 GPT-4V，适合做图文问答和视觉助手。
汇总可私有化部署的中文大语言模型资源清单，覆盖小规模底座模型、垂直领域微调、数据集与教程，方便低成本选型落地。
在 LLaMA/Alpaca 基础上扩充中文词表并做中文增量预训练，提供可本地 CPU/GPU 部署的中文大模型及 LoRA 微调、量化方案。
Llama 官方示例手册，手把手教你在推理、微调、RAG 等场景中落地 Llama 系列模型，并覆盖多家云服务商的端到端方案。
给 ChatGPT 及 Llama、Claude、Gemini 等大模型套上清爽的网页界面，支持智能体、文件问答、联网搜索和模型微调，开箱即用。
面向 JVM 的 Java LLM 应用开发库，统一封装主流大模型与向量库接口，让工具调用、Agent 和 RAG 在 Spring Boot、Quarkus 等企业框架里快速落地。
开源音乐生成基础模型，用符号规划、零样本翻唱和智能体编辑从歌词生成完整歌曲，适合研究音乐生成与风格迁移。
基于飞桨的 NLP 与大模型开发库，提供丰富模型库，覆盖 BERT、ERNIE、LLaMA 等，支持分布式训练、压缩和文档智能等任务。
把 DeepSeek、Llama 等开源大模型一键部署成兼容 OpenAI 的 API 服务，省去自己搭推理后端的麻烦。
在终端里直接调用 GPT、Llama、Ollama 等大模型，用自然语言生成并执行 shell 命令，省去查手册和拼参数的时间。
低代码训练框架，用声明式配置就能构建和微调自定义 LLM、神经网络及其他 AI 模型，省去手写大量训练代码。
TensorZero is an open-source LLMOps platform that unifies an LLM gateway, observability, evaluation, optimization, and experimentation.
用一份 YAML 配置就能微调大模型，靠分层流式加载让 8B 模型在 4GB 显存的笔记本 GPU 上跑起来，省去手写训练脚本和显存焦虑。
面向本地部署的高速大模型推理引擎，通过稀疏激活与量化等技术，让消费级显卡也能流畅跑起 Llama 类模型。
Android 上能力最强的 AI Agent 与聊天软件，支持本地 llama/MNN 模型和终端操作，让手机直接跑智能体任务。
一站式搞定 Qwen、Gemma 等开源大模型和多模态模型的微调（SFT/RL）、评测与部署，零代码也能上手。
汇总全球优质大模型学习资料，覆盖多模态生成、Agent、辅助编程、模型训练与推理、RAG 等方向，帮开发者快速找到教程、课程和实战资源。
用大模型扫描 Kubernetes 集群并诊断故障，把晦涩的报错和事件翻译成人能看懂的解释和修复建议。
给 LLM 加一层语义缓存，相似问题直接命中缓存结果，省下重复调用 API 的钱和时间，已集成 LangChain 和 llama_index。
LMDeploy 是面向大模型的高效推理与服务工具包，支持模型压缩、部署和在线服务，内置 TurboMind 推理引擎和 CUDA 算子，可加速 Llama、InternLM 等模型的推理。
把多个预训练大模型按不同策略合并成一个新模型的工具集，不用重新训练就能组合各家能力，适合做模型融合实验。
中文 LLaMA-2 与 Alpaca-2 大模型二期项目，提供支持 64K 超长上下文的中文预训练和指令微调模型，可直接用于长文本理解与对话。
用大模型把任意网页抓取并转成结构化数据，底层靠 Playwright/Puppeteer 驱动浏览器，适合做网页信息抽取和自动化采集。
用 Triton 重写 LLM 训练中的 RMSNorm、RoPE、交叉熵等关键算子，减少显存占用并提升微调吞吐，兼容 Llama、Mistral、Gemma、Phi 等主流模型。
Fault-tolerant, highly scalable GPU orchestration, and a machine learning framework designed for training models with billions to trillions of parameters
本地大模型推理服务的模型热切换代理，按需自动加载和卸载不同模型，让单个服务端同时对外提供多个 LLM，省去手动重启。
在本地 GPU 和 NPU 上直接跑优化后的大模型，帮用户发现并启动本地 AI 应用，省去自己折腾推理环境的麻烦。
纯 Rust 实现的 WebGPU 推理引擎，原生支持 GGUF 模型，兼容 OpenAI API，无需 Python 和 llama.cpp，单个二进制文件即可在任意 GPU 上跑本地大模型。
一款 iOS/macOS 原生应用，通过 Ollama 连接本地自托管的大语言模型（Llama2、Mistral、Vicuna 等）进行对话，让私有模型在苹果设备上开箱即用。
统一管理 GPU 集群，调度 vLLM、SGLang 等推理引擎做高性能模型服务，还能按需开出可 SSH 登录的 GPU 实例。
给 Paperless-ngx 文档库接上大模型，自动分析文档内容并打标签，支持 OpenAI、Ollama、DeepSeek-r1、Azure 等兼容接口。
用 ChatGPT 同款流程训练医疗大模型，覆盖增量预训练、有监督微调、RLHF、DPO、ORPO、GRPO 全链路，开箱即可复现。
A web interface for chatting with Alpaca through llama.cpp. Fully dockerized, with an easy to use API.
面向 AI 研究者的开源实验环境，可在本地硬件到 GPU 集群之间无缝训练、评估和扩展大模型与扩散模型。
无需写代码就能微调大语言模型的可视化界面，从数据准备到训练评估一站式完成，适合不想碰命令行直接调模型的团队。
从零手搓大模型全链路的教学项目，涵盖 Transformer、LLaMA、Qwen、RAG、Agent 和扩散模型，帮学习者拆开白盒子理解每个环节的实现细节。
基于中文医学知识对 LLaMA 等大模型做指令微调，打造能回答医疗问题的中文医疗助手，开箱可用。
只需 Python 基础，就能跟着 Jupyter Notebook 从零手写 GLM4、Llama3、RWKV6 等大语言模型，边写代码边吃透模型原理。
轻量级 Python 大模型推理与服务框架，主打高吞吐、易扩展，适合快速部署 GPT、LLaMA 等模型对外提供 API 服务。
从零手写现代 LLM 的教学项目，逐行注释、用大白话讲解注意力机制与 GPT/Llama 结构，适合想搞懂大模型内部原理的人边看边练。
用 Python 编排多智能体协作来调用大模型，把任务拆给多个 Agent 分工完成，适合搭建需要工具调用和检索增强的 LLM 应用。
基于 Llama3 的中文后训练模型与配套工具，提供中文微调权重、训练脚本和部署方案，让开发者能直接跑起中文对话模型。
面向中文 NLP 的大模型实战代码库，覆盖数据准备、模型训练与推理全流程，含 BERT、ChatGLM、LLaMA 等示例，适合直接上手跑通中文大模型任务。
Multi-LoRA inference server that scales to 1000s of fine-tuned LLMs
Eagle 是一系列前沿视觉语言模型，主打以数据为中心的训练策略，能看图理解并回答多模态问题，适合做图文问答和视觉理解研究。
在 .NET 项目里本地跑 LLaMA、LLaVA 等大模型的 C# 库，封装 llama.cpp，让 C# 开发者不用切 Python 就能做聊天和多模态推理。
本地优先的 AI 智能体，通过 llama.cpp 在你自己的机器上运行开源权重模型，兼顾浏览器自动化与命令行操作，数据不出本机。
共 162 个，这里展示前 60 个。