推理与服务
共 751 个仓库
面向 LLM Agent 的推理与服务方案，帮助把大模型智能体能力落地到实际应用流程中。
用 Cython 加速 fastText 和 gensim 模型计算句向量，比原生 Python 实现快一个数量级，适合需要批量生成句向量做相似度检索的场景。
把安卓手机变成兼容 OpenAI 接口的本地大模型推理服务器，数据不出设备，可接入 Home Assistant 等应用。
用 LLM 智能体做加密货币量化交易的开源对冲基金系统，支持多时间框架分析、策略回测和自动决策。
把 Hugging Face 的 Transformers、Diffusers 等模型接到 Intel 的 OpenVINO 等优化工具上，加速 CPU/GPU 推理，覆盖 LLM、语音识别、语音合成和多模态模型。
在瑞芯微 NPU 上跑大模型的推理服务，类似 Ollama 的替代方案，通过优化 rkllm 让 Orange Pi 等设备高效离线运行 AI 模型。
开源的地球观测基础模型，能把 Sentinel-1/2 卫星影像和数字高程数据转成向量嵌入，方便做地表特征检索与下游分析。
把长视频自动切成镜头、用多模态模型看画面写解说词、再配音合成成片，还能一键导出可编辑的剪映/CapCut 草稿，全程不用 GPU。
面向物理 AI 机器人的厂商无关智能体框架，基于 ROS 2 工具执行复杂动作、场景任务、自由接口调用、日志摘要和语音交互。
在本地对 Markdown 笔记做 Graph RAG 问答，从 wikilink 和 YAML 中抽取实体关系，结合向量、BM25 与时间混合检索，全程离线跑在 Ollama 上。
浏览器里直接跑的极简 AI 搜索平台，聚合多个搜索源并调用本地大模型做问答，无需后端服务器。
用 C++/CUDA 从零实现的 LLM 推理引擎，除 I/O 外不依赖任何第三方库，适合学习推理底层或做轻量部署。
基于节点的创意编程工具，用可视化连线搭建 3D 图形、图像处理和计算机视觉流程，灵感来自 Quartz Composer，适合实时渲染与多媒体实验。
Node.js 的 RAG 框架，帮你把大模型和向量嵌入接进应用，省去自己拼检索增强流程的麻烦。
用 TensorFlow 把 Kaggle 旧金山犯罪描述分成 39 类，CNN、GRU、LSTM 搭配词向量做多分类文本建模，适合入门文本分类实战。
把模型打包成 OCI 镜像来分发和运行，让任意 agent 都能跑在任意模型上，省去环境配置和模型管理的麻烦。
把 Claude Code、Cursor、Cline、Aider、Codex CLI 等编码工具的请求统一到一个本地端点，按已付费的订阅席位优先路由，并记录用量账本。
用 git worktree 并行跑大量编码 Agent 的命令行工具，让多个 LLM 编码任务互不干扰地同时执行。
从零手写支持 Llama2/3 和 Qwen2.5 的大模型推理框架，用 C++ 和 CUDA 实现，适合校招、秋招、春招和实习作为练手项目。
一个基于 MCP 协议的多模态 AI Agent 教程项目，让 Agent 能看图听声，用 Pixeltable 做嵌入存储、Groq 和 OpenAI 驱动推理。
原生多模态大模型，把文本和图像统一到 3D 生成与理解任务中，支持文生 3D、图生 3D、3D 描述和编辑。
用 TensorFlow/Keras 串联从文本预处理到 BERT、GPT、LLM 下游任务的实战教程，覆盖 NER、LoRA、DPO 等，适合系统学习 NLP 建模流程。
用大模型自动从长视频里挑出精彩片段并剪成短视频，省去人工逐段回看的麻烦。
一个支持持续学习的自适应文本分类系统，能在数据分布变化时增量更新模型而不遗忘旧知识，适合动态场景下的分类任务。