推理与服务
共 540 个仓库 · 近 4 个月有推送
统一接入 OpenCode、Claude、Cursor 等多家编码 Agent 的控制平面，用一个入口调度和路由不同 Agent，省去逐个对接的麻烦。
用 Rust 写的高性能嵌入推理与索引库，支持从多种数据源摄取内容、本地跑 ONNX 模型生成向量并建索引，适合搭建生产级检索管线。
一套 14 个 AI Skill，把抖音、B站、小红书、公众号、播客等中文平台内容采集进个人知识库，支持图文存图、字幕优先免 GPU 转写、订阅调度和每日简报，还带知识库 MCP server。
本地优先的语义代码搜索引擎，用向量嵌入理解代码含义，支持像 grep 一样搜索，但能按语义而非仅靠正则匹配找代码。
用 Go 写的 AI 网关，把 OpenAI、Anthropic、Gemini、Ollama 等多家模型统一成兼容接口，自带可观测性、限流防护、成本追踪、智能路由和故障转移，可作为 LiteLLM 的替代方案。
用 WebGL 在浏览器里跑力导向图布局和渲染，把大规模网络图的计算交给 GPU，适合做高节点数的交互式图可视化。
在 AMD Strix Halo 上本地跑 Qwen3.8-Flash-Next 和 NPU 小模型，用同一端口同时提供 OpenAI 与 Anthropic 兼容 API，让本地推理像调前沿云服务一样顺手。
Linux 上的原生语音转文字工具，提供系统级听写，速度快、准确率高且数据本地处理，适合注重隐私的用户。
面向 Apple Silicon 的本地语音工具箱，用 MLX 和 CoreML 在 iOS/macOS 上跑语音识别、语音合成、语音转换、VAD 和说话人分离，全程端侧推理。
高通官方维护的预优化模型库，模型已针对延迟和内存调优，可直接部署到骁龙等高通设备上推理。
开源多模态训练框架，基于 Qwen3 等底座训练视觉语言模型，降低多模态模型训练门槛。
一个语音聊天应用，把语音识别、大模型对话和语音合成串成完整链路，跑在 Modal 无服务器平台上，适合快速搭建可对话的语音助手原型。
EAGLE-4 的官方推理代码，用投机解码加速大模型生成，可接入 SGLang、vLLM 等主流推理框架，显著提升 token 吞吐。
轻量级 Python RAG 工具包，用 DuckDB 或 PostgreSQL 就能搭起检索增强生成，省去部署向量数据库的麻烦。
面向 Apple Foundation Models 框架的实战实验场，帮你在 iOS 和 macOS 上动手搭建、测试并评估端侧大模型应用。
用 C++ 和 CUDA 手写一个高性能 LLM 推理引擎的教学项目，是 vLLM 的精简版，涵盖 PagedAttention 和连续批处理等核心机制。
离线运行的俄语语音助手，通过插件机制扩展技能，适合在无网络环境下做语音交互和自定义语音指令开发。
截屏后调用大模型识别并解答屏幕内容，代码报错、题目图表、外文资料框选即得答案，常驻后台可当面试或刷题助手。
用 USB-C 把 iPhone 接到 Mac 上，让手机参与跑 27B 大模型，加快提示词读取并扩展上下文，适合本地推理场景。
面向技术面试的开源 AI 助手，提供隐形悬浮窗、实时答题辅助和题目截图识别，支持多语言且可完全自定义、注重隐私。
面向语音与多模态机器学习的 Python 数据处理库，提供统一的音频加载、切分、特征提取和数据集管理接口，方便搭建语音识别等训练流水线。
用 Go 实现的远程桌面网关，可在 Linux、BSD 或 Kubernetes 上部署，为 RDP 连接提供统一入口和转发。
统一 RAG 检索环节的微调工具，覆盖 Embedding、ColBERT 和 ReRanker 三类模型，省去分别搭训练流程的麻烦。
把电子表格变成 AI 流水线：在单元格里串联提示词和模型，实时对比 LLM 输出，多人协作迭代 AI 应用。