本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型,省去环境配置和依赖折腾,适合快速做推理和原型验证。
开源 LLM 应用可观测与评估平台,能追踪调用链路、跑评测实验,帮团队定位问题并持续优化提示词和模型效果。
在 LLaMA/Alpaca 基础上扩充中文词表并做中文增量预训练,提供可本地 CPU/GPU 部署的中文大模型及 LoRA 微调、量化方案。
开源的多模态视觉指令微调模型,让 LLaMA 类大模型能看图对话,效果对标 GPT-4V,适合做图文问答和视觉助手。
用 Jupyter Notebook 逐个演示 RAG 系统的进阶技巧,从嵌入、检索到重排都有可运行教程,适合动手搭建和优化检索增强生成流程。
Llama 官方示例手册,手把手教你在推理、微调、RAG 等场景中落地 Llama 系列模型,并覆盖多家云服务商的端到端方案。
开源企业级智能体平台,可快速搭建基于知识库的问答助手和 Agent,支持接入 DeepSeek、Llama 等大模型与 MCP 工具。
面向 JVM 的 Java LLM 应用开发库,统一封装主流大模型与向量库接口,让工具调用、Agent 和 RAG 在 Spring Boot、Quarkus 等企业框架里快速落地。
O'Reilly《Hands-On Large Language Models》官方配套代码,用 Jupyter Notebook 带你动手跑通大模型的分词、嵌入、提示工程、微调与 RAG 等核心环节。
用一份 YAML 配置就能微调大模型,靠分层流式加载让 8B 模型在 4GB 显存的笔记本 GPU 上跑起来,省去手写训练脚本和显存焦虑。
单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案,通过逐层加载权重把显存需求压到极低,适合本地低配设备部署大模型。
面向大语言模型的高吞吐、低显存推理与服务引擎,通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用,适合部署在线推理服务。
低代码训练框架,用声明式配置就能构建和微调自定义 LLM、神经网络及其他 AI 模型,省去手写大量训练代码。
通用大模型部署引擎,借助机器学习编译技术把 LLM 高效跑在各种硬件上,从手机到服务器都能用。
把 PDF、DOCX、HTML 等文档解析成结构化 Markdown 或 JSON,方便喂给大模型和 RAG 流程。
给 ChatGPT 及 Llama、Claude、Gemini 等大模型套上清爽的网页界面,支持智能体、文件问答、联网搜索和模型微调,开箱即用。
在终端里直接调用 GPT、Llama、Ollama 等大模型,用自然语言生成并执行 shell 命令,省去查手册和拼参数的时间。
开源音乐生成基础模型,用符号规划、零样本翻唱和智能体编辑从歌词生成完整歌曲,适合研究音乐生成与风格迁移。
无需分词器的多语言语音合成模型,支持创意音色设计和逼真声音克隆,可直接从文本生成自然语音。
一站式大模型微调工具,支持 LoRA、QLoRA、全参等多种训练方式,用配置文件就能跑起各种开源模型的微调任务。
用纯 C99 从零实现的 Kimi K3 推理引擎,单 CPU、8.24 GB 内存即可跑 2.78 万亿参数模型,不依赖 BLAS、框架或 GPU。
一套系统的大语言模型入门课程,用学习路线图和可直接运行的 Colab 笔记本,带你从零掌握 LLM 的原理与实战。
Patch Changes - 232c55b: Include xlsx files in extract input
… extract input - Updated dependencies [232c55b] - [email protected]
… more warnings - Updated dependencies [da1916c] - [email protected]
Patch Changes - da1916c: Add more warnings
Patch Changes - Updated dependencies [2358df1] - [email protected]
Llama-cookbook v0.0.5 Release Notes This release changes the package name from llama recipes to llama cookbook and deprecates the llama recipes package name. Highlighted