大模型推理服务

把「本地跑大模型」压缩成一条命令，最适合做原型和日常使用

自托管 LLM 前端，把 Ollama 和 OpenAI 兼容后端统一到一个可离线部署的聊天界面里

输入主题自动跑完脚本、素材、字幕、BGM 到成片的流水线，顶替手工剪辑短视频的重复劳动

纯 C/C++ 的本地推理引擎，GGUF + 量化是「在自己电脑上跑模型」的标准答案

在编码 agent 和模型之间加一层压缩代理，砍掉日志和啰嗦输出里的 token，代码不动

单卡也能压榨出高吞吐的 LLM 推理引擎，PagedAttention 基本成了行业标准

把 AI 写作的 26 个特征逐条标出来再重写，作为 Agent 技能挂在 Claude Code 或同类工具里

给 AI 编程助手注入版本准确的库文档，替代模型凭记忆瞎编 API 的那一层

本地逐字存储对话历史、用语义检索取回的 MCP 记忆层，替代自己拼 ChromaDB 加手写索引

把文档变更实时同步进向量库的 RAG 服务端，替代自己写索引管道和检索 API

把 Whisper 从 Python/PyTorch 依赖里剥出来，编译成单个二进制塞进任意设备做离线转写

自托管的文档归档与全文检索系统，顶替掉 Evernote 扫描件堆栈和共享网盘里那堆没法搜的 PDF

本地优先的 ChatGPT 桌面客户端，把模型下载、推理和对话界面打包成一个 Tauri 应用

用磁盘换显存，让单卡 4GB 跑 70B 的分层流式推理库

把 LLM 抽取结果锚定回原文字符区间的 Python 库，替代自己写 prompt 加正则对齐的拼装方案

前缀复用做得最好的推理框架，RAG 与多轮对话场景吞吐明显占优

把 LSP 和真实调试器接进终端编码 agent，让模型改代码前先拿到类型和运行时信息

把自然语言金融问题跑成研究报告、回测和模拟盘的 LLM 智能体框架，顶替的是自己拼数据源+回测引擎+券商 API 的那层胶水

在真实 draw.io 画布上用对话改图，把手工拖拽换成自然语言编辑

本地部署的多模型聊天前端，把角色卡、世界书和多后端 API 拼成一个可用的对话工作台

把 Claude Code、Codex 等 CLI Agent 收进一个桌面 GUI，并加上定时任务和远程入口

把 Claude Code、Codex、Gemini CLI 的模型后端统一到一个本地网关，在菜单栏按 Agent 切换

让 LLM 通过 MCP 直接操作本机 Blender 场景，替代手写 bpy 脚本做重复建模

自托管的企业知识检索层，把 50+ SaaS 应用的数据索引成 LLM 可检索的上下文

按模型分章节的国产开源大模型部署与微调操作手册，不是可安装的库

用一句提示词替代手写 CSS 选择器，把网页和本地文档抽成结构化数据的 Python 抓取库

本地跑 Whisper/Parakeet 转写加 Ollama 摘要的桌面会议记录器，替代 Otter、Fireflies 这类会上传录音的云服务

TypeScript 里把 agent、工作流和 eval 串成一套的框架，替代自己用 AI SDK 拼装编排层

把仓库压成单个 LLM 可读文件，替代手写拼接脚本和逐文件粘贴

本地优先的跨库 SQL 工作台，用自有模型补全和改写查询，替代 DBeaver/DataGrip 的日常席位

大模型工程化的实战教程合集，不是工具包，是给你照着搭训练和推理链路的参考实现

中文小模型选型的第一站，用来替代自己翻 HuggingFace 榜单和零散博客

本地常驻录屏录音，把屏幕和麦克风变成可查询的 MCP 上下文源，替代手工截图和事后回忆

把自然语言问题变成 SQL 和 Python 代码、在沙箱里跑完出报告的数据分析智能体

一本讲大规模训练与推理运维细节的开源手册，顶替的是团队内部口口相传的排障经验和集群验收清单

在 LLaMA 上扩中文词表再预训练的中文基座，产出的是 LoRA 增量而不是可直接加载的模型

自托管的文档问答与智能体平台，顶替 SaaS 版 ChatGPT 企业知识库

把 Hugging Face 模型推理搬进浏览器或 Node，省掉模型服务这一层

用 1200 行 Python 复刻 vLLM 的调度与 KV 缓存，用来读源码而不是上生产

给多家 LLM API 和本地模型套一层 Gradio Web UI，替代自己写前端和会话管理

NVIDIA 官方 LLM 推理引擎，用预编译 engine 和专用 kernel 替代通用 PyTorch 推理路径

用小型专用模型在本地跑完整 RAG 流水线，顶替 LangChain 加一堆解析器拼出来的自研栈

给 Agent 用的本地 Markdown 记忆层，顶替自建向量库加会话表那套拼装方案

在个人设备上跑本地 RAG，用图选择性重算替代全量向量存储，省下索引磁盘占用

无抽象层的 LLM 训练与推理参考实现，用来替换 HuggingFace Trainer 那层黑盒

不是软件，是逐行拆 vLLM 和 Go 运行时的中文源码笔记库，用来在动手前把实现读明白

本地跑文生/图生视频的参考实现，顶替闭源视频生成 API 的推理与微调底座

手写 Transformer 全流程的教学代码库，用来替换 transformers/trl 那套黑盒，看清每一步在算什么

把陌生仓库自动拆成带图的新手教程，省掉读源码前的摸底时间

把 vLLM 这类引擎的 KV 缓存抽成独立进程，跨实例复用 prefill 结果，专治长上下文首 token 慢