本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。

开源 LLM 应用可观测与评估平台，能追踪调用链路、跑评测实验，帮团队定位问题并持续优化提示词和模型效果。

在 LLaMA/Alpaca 基础上扩充中文词表并做中文增量预训练，提供可本地 CPU/GPU 部署的中文大模型及 LoRA 微调、量化方案。

用 Jupyter Notebook 逐个演示 RAG 系统的进阶技巧，从嵌入、检索到重排都有可运行教程，适合动手搭建和优化检索增强生成流程。

Llama 官方示例手册，手把手教你在推理、微调、RAG 等场景中落地 Llama 系列模型，并覆盖多家云服务商的端到端方案。

开源企业级智能体平台，可快速搭建基于知识库的问答助手和 Agent，支持接入 DeepSeek、Llama 等大模型与 MCP 工具。

中文 LLaMA-2 与 Alpaca-2 大模型二期项目，提供支持 64K 超长上下文的中文预训练和指令微调模型，可直接用于长文本理解与对话。

面向 JVM 的 Java LLM 应用开发库，统一封装主流大模型与向量库接口，让工具调用、Agent 和 RAG 在 Spring Boot、Quarkus 等企业框架里快速落地。

把普通 PC、Mac 或 Linux 机器变成私有 AI 服务器，集成 llama.cpp、ComfyUI、Open WebUI、n8n 等组件，方便本地跑大模型、RAG 和 Agent 工作流。

在 .NET 项目里本地跑 LLaMA、LLaVA 等大模型的 C# 库，封装 llama.cpp，让 C# 开发者不用切 Python 就能做聊天和多模态推理。

基于 Spark 的分布式 NLP 库，把 BERT、LLM、ONNX 等模型封装成可直接调用的流水线，在集群上批量做命名实体识别、分词、翻译等任务。

基于 Meta Llama 3 开发的中文大模型项目，提供中文 LLaMA-3 和 Alpaca-3 模型及训练、部署方案，解决中文场景下开源大模型可用性问题。

一套用来测试和实验提示词的开源工具，支持 OpenAI、LLaMA 等大模型以及 Chroma、Weaviate 等向量数据库，方便对比不同提示词的效果。

开源的 AI 训练跟踪与可视化工具，支持云端和私有化部署，可无缝接入 PyTorch、Transformers 等主流训练框架，用来记录指标、对比实验。

一套 0.8B 到 27B 的开源决策模型，一次前向就能为每个选项给出校准概率，只在不确定时才输出简短思考；配套 vLLM、llama.cpp 和 MLX 推理引擎。

分布式模型服务框架，能把多台机器组成自建 AI 推理集群，用来跑 Llama、DeepSeek 等大模型。

Ovis 是一种多模态大语言模型架构，通过结构对齐视觉与文本嵌入，让模型能同时理解图像和文字，适合做视觉问答、图文对话等任务。

用 USB-C 把 iPhone 接到 Mac 上，让手机参与跑 27B 大模型，加快提示词读取并扩展上下文，适合本地推理场景。

LanceDB 官方的示例与教程合集，用向量检索搭配大模型，演示多模态 RAG、Agent 和微调等场景的落地写法。

基于 llama.cpp 的 LLM 智能体框架，支持对话、结构化函数调用和结构化输出，即使模型未针对 JSON 或函数调用微调也能用。

面向 AI Agent 的文档解析评测基准，覆盖 OCR、PDF 解析和表格抽取，用统一指标对比不同模型与工具在真实文档上的解析效果。

在本地对 Markdown 笔记做 Graph RAG 问答，从 wikilink 和 YAML 中抽取实体关系，结合向量、BM25 与时间混合检索，全程离线跑在 Ollama 上。

统一的多模态大模型，能高效理解图像、高分辨率图像和视频，用极少的视觉 token 完成多模态推理，适合显存和算力受限的场景。

在单台桌面机器上跑 100GB 级大模型的开源推理引擎，支持 AMD Strix Halo、NVIDIA RTX 和 Apple Mac，兼容 OpenAI API，基于 ExLlamaV3 构建。

面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

TensorZero is an open-source LLMOps platform that unifies an LLM gateway, observability, evaluation, optimization, and …

低代码训练框架，用声明式配置就能构建和微调自定义 LLM、神经网络及其他 AI 模型，省去手写大量训练代码。

一行代码就能把 GPT 换成任意开源大模型，统一推理 API 支持云端、本地和笔记本部署，覆盖语言、语音和多模态模型。

…ate local LLM inference and finetuning (LLaMA, Mistral, ChatGLM, Qwen, DeepSeek, Mixtral, Gemma, Phi, MiniCPM, Qwen-VL, MiniC…

多语种语音理解模型，一次推理就能完成中英日韩粤语音识别、语种判别、情绪识别和音频事件检测，适合做语音交互与音频分析。

一款 iOS/macOS 原生应用，通过 Ollama 连接本地自托管的大语言模型（Llama2、Mistral、Vicuna 等）进行对话，让私有模型在苹果设备上开箱即用。

一行代码接入的 LLM 可观测性平台，能监控大模型调用、追踪成本与延迟，并支持评估和实验对比，方便排查线上问题。

统一管理 GPU 集群，调度 vLLM、SGLang 等推理引擎做高性能模型服务，还能按需开出可 SSH 登录的 GPU 实例。

从零手写现代 LLM 的教学项目，逐行注释、用大白话讲解注意力机制与 GPT/Llama 结构，适合想搞懂大模型内部原理的人边看边练。

在手机或 Mac 上离线跑 GGUF 大模型、视觉识别、Whisper 语音转文字和 Stable Diffusion 生图，支持工具调用与局域网服务，无需账号和 API Key。

汇集机器学习系统与大模型推理、训练、服务方向的顶会论文和工业实践，配视频教程，帮算法工程师系统补齐 AI Infra 知识。

在 iOS 和 macOS 上离线运行 LLaMA、GPT-2、RWKV 等大语言模型的 Swift 应用，基于 GGML 库，无需联网即可本地推理。

开源的 AI 摄像头与 NVR 监控平台，用本地 VLM 和 YOLO 做视频分析，并通过 Telegram、Discord、Slack 推送智能安防告警。

把大语言模型接入 spaCy 的结构化 NLP 流水线，用提示词完成命名实体识别等任务，无需训练即可复用现有流程。

开源大模型微调工具箱，支持 LoRA 等参数高效微调，还能做消融实验和单元测试，方便快速验证 Llama2、Mistral、Falcon 等模型在分类任务上的效果。