推理与服务
共 679 个仓库 · 一年内有推送
基于 GPU 的向量检索与聚类库，为近似最近邻搜索和相似度计算提供 CUDA 加速，适合大规模向量数据和 LLM 检索场景。
C# 编写的 Twitch 客户端库，封装聊天、私信、API 和 PubSub，方便开发者快速接入 Twitch 直播互动与频道管理功能。
本地离线运行的便携式 OCR 软件，用 DeepSeek-OCR-2 模型直接在你自己机器上识别图片和 PDF，适合不想把文档传到云端的场景。
基于并行图计算的高性能向量数据库，用于存储和检索 embedding 向量，支撑语义搜索与 LLM 应用。
把本地代码库切块并生成向量索引，通过 MCP 服务让 LLM 和 Neovim 按语义检索相关代码，省去手动翻文件。
基于 PaddlePaddle 的端到端中文语音识别项目，提供 DeepSpeech2、Conformer、Squeezeformer 等主流模型，既有入门案例也有企业级实战方案。
基于 Kotlin 的 Android 语音输入法，把 LLM 和 ASR 结合起来，说话就能转文字并智能润色，支持豆包、Whisper、Qwen-ASR 等后端。
用 Whisper 和 ChatGPT 几秒内从视频自动生成字幕、摘要和章节，省去手动转写和剪辑整理的时间。
把个人简历做成可对话的交互式网页，访客能直接向 AI 头像提问工作经历，背后用 Claude API 驱动并接入 Langfuse 做可观测。
C# 高性能自然语言处理库，借鉴 spaCy 设计，内置预训练模型，支持词与文档嵌入训练及灵活实体识别。
一款跨平台桌面应用，能基于本地文件用 AI 写作和分析，逐句核对引用与数据后导出 Word，还支持会议记录。
在 Debian 上从零搭建完全本地私有的 LLM 服务器，集成聊天、联网搜索、RAG、模型管理、MCP、图像生成和语音合成。
把电脑播放或麦克风采集的声音实时转成翻译字幕，跨平台桌面应用，适合看外语视频、开会时即时理解内容。
用超网络直接生成 LoRA 权重，让大模型把事实性知识记进参数里，不用微调也能更新模型记忆。
一站式全自动字幕生成工具，从视频下载、语音转录、翻译到字幕压制全流程自动完成，无需人工介入。
把 Discord 变成大模型聊天前端，接入 OpenAI、Gemini、Ollama 等多种 LLM，在服务器频道里直接对话。
用 Python 实现的 CTC 解码算法集合，包含最优路径、束搜索、词典搜索、前缀搜索和 token passing，用于语音识别和手写识别等序列模型的推理解码。
面向 NVIDIA GPU 和昆仑 XPU 的大模型训练框架，覆盖 LLM、VLM、扩散模型和具身模型，支持 LoRA、预训练、SFT 与中期训练，开箱即用适配 DeepSeek、GLM、Kimi 等主流模型。
整理大模型训练数据全流程的精选资源库，覆盖数据获取、去重、过滤、配比、合成与溯源，配套「LLM × DATA」综述论文。
用 Go 语言构建 AI/LLM 应用的框架，提供 prompt 管理、向量索引、pipeline 编排和 OpenAI、Pinecone 等集成，省去自己拼装各组件的工作。
用 Go 重写的 Graphite/Carbon 时序数据接收服务，沿用 Agent→Cache→Persister 经典架构，比原版 Python 实现更省资源、吞吐更高。
在私有 GPU 桌面上批量运行 Claude、Codex、Gemini 和开源模型的 Agent 集群，用 Spec Coding 让每个智能体拥有独立加速环境。
给 AI 助手做长期记忆的存储层，用图数据库加向量库记住跨会话的决策、关系和上下文，解决多轮对话后遗忘的问题。
基于 Whisper 的端侧语音转文字应用，支持 100 多种语言，用 Compose Multiplatform 同时覆盖 Android 和 iOS，全程本地推理不上传云端，适合注重隐私的转写场景。