一套统一接口搞定 100+ 大语言模型和多模态模型的微调，支持 LoRA 等高效训练方式，省去为每个模型单独写训练脚本的麻烦。
把 DeepSeek、Llama 等开源大模型一键部署成兼容 OpenAI 的 API 服务，省去自己搭推理后端的麻烦。
面向中文用户的 Linux 环境大模型实战教程，手把手教你在本地微调（全参数/LoRA）和部署国内外开源 LLM 与多模态模型。
可自托管的个人 AI 第二大脑，能从网页和本地文档中检索答案，支持自定义智能体、定时自动化和深度研究，兼容多种在线或本地大模型。
开源企业级智能体平台，可快速搭建基于知识库的问答助手和 Agent，支持接入 DeepSeek、Llama 等大模型与 MCP 工具。
在骁龙设备的 NPU、GPU 和 CPU 上本地跑大模型和多模态模型，几行代码就能接入，省去自己适配硬件的麻烦。
LMDeploy 是面向大模型的高效推理与服务工具包，支持模型压缩、部署和在线服务，内置 TurboMind 推理引擎和 CUDA 算子，可加速 Llama、InternLM 等模型的推理。
用 Triton 重写 LLM 训练中的 RMSNorm、RoPE、交叉熵等关键算子，减少显存占用并提升微调吞吐，兼容 Llama、Mistral、Gemma、Phi 等主流模型。
… via shimmyjinja), with a family fallback (ChatML/Llama3/Gemma) and a --raw escape for base/completion models. Previously instruct models were fed raw prompts or a coarse
…proving reliability on smaller local models (e.g. llama3.2) --- Download the assets below to install.
What's Changed Default Ollama to use llama3.2 by @WToa in https://github.com/patterns-ai-core/langchainrb/pull/889 Apply workaround to Chroma query by @justi in https://g
… (2024-08-05) Features ollama and perplexity with llama3.1-8B ([8b448c0](https://github.com/Robitx/gp.nvim/commit/8b448c06651ebfc6b810bf37029d0a1ee43c237e)) Bug Fixes git
… version 0.0.11, enabling support for models like llama3. - File extension based validation to throw error for unsupported files. - The default output token length in the
feature: - 支持新模型llama3/code-qwen2/cohere bug fix: - bloom weight加载错误 - temperature不生效