推理与服务
共 751 个仓库
汇总自动驾驶领域的视觉-语言-动作（VLA）模型资源，梳理其发展脉络与未来方向，方便快速了解该方向的研究与落地进展。
汇总检索增强生成（RAG）方向的资料清单，帮大模型开发者快速找到相关技术与实现方案。
给 AI Agent 加上屏幕录制与记忆检索能力，让它能回看你的历史操作并真正记住个人上下文，从而做出更贴合你的回应。
开源 AIaaS 平台，统一接入 Ollama、vLLM 等本地与公有 LLM，提供嵌入管理、RAG、图像音频生成和可视化编排。
用大模型批量模拟受访者来做问卷调查和市场研究，设计实验并分析结果，省去招募真实被试的成本。
基于深度学习与 NVIDIA GPU 加速的 3D 物体位姿估计 ROS/ROS2 包，可在 Jetson 上通过 TensorRT 推理，为机器人抓取和操作提供实时六自由度位姿。
给 vLLM 加一个免校准的 KV-cache 量化后端，只需一个开关就能把上下文拉长 3~5 倍，吞吐超过 FP16 且精度基本不掉，适合跑长上下文 Agent。
基于 pgvector 和 Supabase 的文档问答 MVP，上传文件后即可安全地与之对话，快速搭建 RAG 应用。
把视频按场景切成 9-16 格带时间戳和字幕的分镜图，连同音频包络压成一张 384 token 的图片，方便大模型低成本理解长视频。
用命令行一键启动 vLLM 的 LLM 推理服务，省去手写配置和启动脚本的麻烦，适合快速部署和测试模型。
一款 AI 原生的自托管 RSS 阅读器，用大模型帮你筛选和总结订阅内容，解决信息过载、看不过来的问题。
A high-performance inference system for large language models, designed for production environments.
把智能魔镜变成可自托管的私人语音助手，本地跑 LLM 推理，支持树莓派部署，无需依赖云端服务。
基于 Claude 的自托管自主 AI 开发团队机器人，接入 Telegram 和 VK，自动完成代码审查与开发任务。
把想法和素材交给 AI 导演智能体，自动生成生动的讲解视频，支持本地优先运行并自由接入任意模型。
基于 Qwen3.6-27B 做去审查与能力增强的 abliteration 模型，配合 NVFP4 量化和 DFlash 投机解码，在 DGX Spark 上优化长上下文草稿接受率，附多种 HF 变体与 Docker 部署。
用 C++ 复刻 vLLM 的推理引擎，支持连续批处理、分页 KV 缓存，并额外提供 GGUF 加载、RadixAttention 和缓存感知调度，适合想在 C++ 环境跑大模型推理的场景。
MindSpore 官方的大模型实战课程，带你从 BERT、GPT 一路动手实现到 ChatGLM、LLaMA2，适合系统学习大模型原理与训练推理。
多线程网页爬虫，递归抓取整站并把每个页面转成 Markdown 文件，为 LLM RAG 准备干净的语料。
把 AI 智能体的记忆全部存进单个 SQLite 文件，内置知识图谱、本体约束和可追溯推理，让本地优先的记忆管理不再依赖外部服务。
高通 AI Hub 应用集，提供针对高通设备优化过延迟和内存的机器学习模型，可直接部署到骁龙等终端上跑推理。
基于 vLLM 的 NUMA 扩展推理引擎，充分利用 CPU 和内存资源降低显存占用，支持 MOE 大模型混合推理与 GPU/NUMA 并行。
基于 vLLM 的 Runpod 无服务器 worker 模板，用于快速部署大语言模型推理端点，省去自己搭建服务的工作。
面向 PHP 开发者的 DeepSeek AI 客户端，封装官方 API，提供链式调用和框架友好集成，方便在 PHP 应用里接入对话与代码模型。