推理与服务
共 679 个仓库 · 一年内有推送
在瑞芯微 NPU 上跑大模型的推理服务，类似 Ollama 的替代方案，通过优化 rkllm 让 Orange Pi 等设备高效离线运行 AI 模型。
开源的地球观测基础模型，能把 Sentinel-1/2 卫星影像和数字高程数据转成向量嵌入，方便做地表特征检索与下游分析。
把长视频自动切成镜头、用多模态模型看画面写解说词、再配音合成成片，还能一键导出可编辑的剪映/CapCut 草稿，全程不用 GPU。
面向物理 AI 机器人的厂商无关智能体框架，基于 ROS 2 工具执行复杂动作、场景任务、自由接口调用、日志摘要和语音交互。
在本地对 Markdown 笔记做 Graph RAG 问答，从 wikilink 和 YAML 中抽取实体关系，结合向量、BM25 与时间混合检索，全程离线跑在 Ollama 上。
浏览器里直接跑的极简 AI 搜索平台，聚合多个搜索源并调用本地大模型做问答，无需后端服务器。
基于节点的创意编程工具，用可视化连线搭建 3D 图形、图像处理和计算机视觉流程，灵感来自 Quartz Composer，适合实时渲染与多媒体实验。
Node.js 的 RAG 框架，帮你把大模型和向量嵌入接进应用，省去自己拼检索增强流程的麻烦。
用 TensorFlow 把 Kaggle 旧金山犯罪描述分成 39 类，CNN、GRU、LSTM 搭配词向量做多分类文本建模，适合入门文本分类实战。
把模型打包成 OCI 镜像来分发和运行，让任意 agent 都能跑在任意模型上，省去环境配置和模型管理的麻烦。
把 Claude Code、Cursor、Cline、Aider、Codex CLI 等编码工具的请求统一到一个本地端点，按已付费的订阅席位优先路由，并记录用量账本。
一个基于 MCP 协议的多模态 AI Agent 教程项目，让 Agent 能看图听声，用 Pixeltable 做嵌入存储、Groq 和 OpenAI 驱动推理。
用 TensorFlow/Keras 串联从文本预处理到 BERT、GPT、LLM 下游任务的实战教程，覆盖 NER、LoRA、DPO 等，适合系统学习 NLP 建模流程。
用大模型自动从长视频里挑出精彩片段并剪成短视频，省去人工逐段回看的麻烦。
一个支持持续学习的自适应文本分类系统，能在数据分布变化时增量更新模型而不遗忘旧知识，适合动态场景下的分类任务。
一个 MCP 服务器，能统计各 AI 编程代理节省了多少 token、优化上下文，并在 16 种 CLI 客户端间共享本地实时知识图谱。
AnglE 是一个训练和推理句向量模型的 Python 库，在 STS 和 MTEB 榜单上达到 SOTA，适合做语义相似度、稠密检索和 RAG 场景的向量化。
在 RTX 5090 / RTX PRO 6000（sm_120）上跑 DeepSeek-V4.1-Flash 等前沿 MoE 大模型的 vLLM 适配方案，支持 GPU+CPU 混合推理和 2-bit 专家量化。
面向视频场景的空间超级感知多模态大模型，专注提升视觉语言模型对视频中空间关系的理解与推理能力。
把 reMarkable2 电子纸平板变成视觉大模型的输入画板，手写或画图后直接发给 ChatGPT、Claude、Gemini 识别与对话。
在写轮子前先查查有没有人做过：用向量检索和本地 LLM 在 npm、PyPI 上搜索相似包，判断你的开发点子是否已被实现。
在 NVIDIA DGX Spark 上快速启动、管理和停止 LLM 推理服务，支持 vLLM、SGLang、llama.cpp 等后端，省去手动配置环境的麻烦。
用 Go 写的嵌入式向量检索库，底层调 llama.cpp 做语义向量和相似度搜索，适合直接在 Go 服务里加语义搜索能力，不用另起向量数据库。
从零实现的大模型蒸馏与推理服务引擎，包含自定义 Triton/CUDA 算子、FSDP 蒸馏、分页 KV 连续批处理、投机解码和 Rust 网关，适合研究推理加速与可解释性。