推理与服务
共 18 个仓库 · JavaScript
把 OpenAI、Claude、Gemini、通义千问等十几家主流大模型统一到一个 API 下，方便做密钥管理和二次分发，单文件部署开箱即用。
面向重度用户的大语言模型聊天前端，支持接入多种模型接口，提供角色卡、提示词管理和对话历史等进阶功能，适合深度定制 AI 角色扮演与对话体验。
在浏览器里直接跑 Hugging Face 的 Transformer 模型，不用后端服务器，前端就能做文本、视觉等机器学习推理。
跨平台语音转文字听写应用，支持本地 Nvidia Parakeet/Whisper 模型和自带密钥的云端模型，主打隐私优先。
用大模型加 RAG 把自然语言问题直接转成 SQL，做对话式数据分析，让不会写 SQL 的人也能查库出报表。
Obsidian 插件，写作时自动找出相关笔记和摘录，用本地嵌入模型做语义搜索，无需 API key 即可零配置使用。
把任意脚本自动生成多风格火柴人动画视频，自动配画面、配音、字幕和音效，适合做无露脸 YouTube 频道。
面向技术面试的开源 AI 助手，提供隐形悬浮窗、实时答题辅助和题目截图识别，支持多语言且可完全自定义、注重隐私。
Telegram 机器人，能把群聊和私聊里的语音消息自动转成文字，省去手动听写，适合会议记录和消息归档。
批量给本地视频生成字幕，还能把字幕翻译成其他语言，Windows 和 Mac 都能用，基于 whisper 做语音识别。
给 React 应用加语音识别能力的 Hook 库，封装浏览器 Web Speech API，几行代码就能把语音转成文字。
Lynkr 是一个命令行 HTTP 代理，把 Claude Code CLI 包装成统一入口，让编辑器、Agent 等工具更顺畅地调用代码生成能力。
把 Claude Code、Cursor、Cline、Aider、Codex CLI 等编码工具的请求统一到一个本地端点，按已付费的订阅席位优先路由，并记录用量账本。
一个 MCP 服务器，能统计各 AI 编程代理节省了多少 token、优化上下文，并在 16 种 CLI 客户端间共享本地实时知识图谱。
给 vLLM 推理服务器套上现代化 Web 界面，方便管理和对话，兼容 GPU/CPU，并针对 macOS Apple Silicon 与 OpenShift/Kubernetes 部署做了优化。
把视频按场景切成 9-16 格带时间戳和字幕的分镜图，连同音频包络压成一张 384 token 的图片，方便大模型低成本理解长视频。
把想法和素材交给 AI 导演智能体，自动生成生动的讲解视频，支持本地优先运行并自由接入任意模型。
用消费级硬件在本地搭建并运行大语言模型和聊天机器人，支持 llama-cpp-python、vLLM 和 RAG 检索增强。