用 C/C++ 实现的大模型推理引擎,能在普通 CPU 和消费级显卡上跑 LLaMA 等模型,支持量化以降低显存占用。
跨平台高性能推理与训练加速引擎,可直接加载 ONNX 模型,兼容 PyTorch、TensorFlow 等框架导出,解决模型在不同硬件上高效部署的问题。
开源本地 AI 推理引擎,无需 GPU 即可在任意硬件上跑 LLM、视觉、语音和图像生成模型,提供兼容 OpenAI 的 API。
OpenAI Whisper 语音识别模型的 C/C++ 移植版,无需 Python 和 GPU 依赖,在普通 CPU 上就能跑语音转文字。
面向 Apple silicon 的数组计算框架,让机器学习模型能直接在 Mac 芯片上高效训练和推理,省去折腾 CUDA 的麻烦。
用 Rust 写的 GPU 加速跨平台终端模拟器,同时内置终端复用功能,可替代 tmux 和传统终端,还支持串口连接。
本地运行的网络录像机,接入 IP 摄像头后实时做目标检测,识别到人、车等对象再触发录像和 MQTT 通知,画面不出家门。
把训练好的深度学习模型优化并部署到 Intel CPU、GPU 等硬件上做推理,支持视觉、LLM 和生成式模型,省去自己折腾底层加速的麻烦。
用 Rust 写的跨平台 GPU 加速终端模拟器,基于 OpenGL 渲染,主打高帧率和低延迟,适合嫌普通终端卡顿、想要更顺滑操作体验的开发者。
在骁龙设备的 NPU、GPU 和 CPU 上本地跑大模型和多模态模型,几行代码就能接入,省去自己适配硬件的麻烦。
基于 GPU 渲染的跨平台终端模拟器,速度快、功能丰富,适合长期在终端里工作的人,支持 OpenGL 加速和分屏等特性。
轻量级命令行视频播放器,基于 FFmpeg 解码,支持硬件加速、字幕渲染和脚本扩展,适合在终端或嵌入其他应用中播放音视频。
把 NumPy 风格的 Python 代码自动微分、向量化并 JIT 编译到 GPU/TPU,写起来像 NumPy,跑起来像高性能计算。
把深度学习模型编译到 CPU、GPU 及各类加速器上运行的开源编译器框架,通过统一中间表示和自动调优提升推理性能。
面向大语言模型的高吞吐、低显存推理与服务引擎,通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用,适合部署在线推理服务。
基于 CTranslate2 重实现的 Whisper 语音转文字推理引擎,通过量化与高效推理大幅提速并降低显存占用,适合本地部署转录。
用 Rust 写的 GPU 加速终端模拟器,基于 Metal/Vulkan 渲染,桌面和浏览器里都能跑,适合追求流畅终端体验的开发者。
用 Rust 重写的 Flash Player 模拟器,能在浏览器和桌面端直接运行 SWF 文件,让老 Flash 内容在官方停支持后继续可用。
把 EPUB 电子书转成有声书的 Python 工具,基于 Kokoro 语音合成模型,适合想批量制作个人音频书的人。
GPU 加速的数据预处理库,提供高度优化的图像、音频处理算子和执行引擎,解决深度学习训练中数据管道拖慢 GPU 的瓶颈。
给 LLM 推理加速的 KV Cache 层,可对接 vLLM 等框架,复用和缓存键值对来降低显存占用、提升吞吐,支持 CUDA 和 ROCm。
把平板变成电脑的手绘板或触摸屏,通过浏览器连接,支持压感和多点触控,用 Rust 实现低延迟投屏与输入回传。
在 iPhone、iPad 和 Mac 上跑虚拟机的图形化工具,基于 QEMU 封装,让你不用命令行就能装 Windows、Linux 等系统。
给 ChatTTS 套了个本地网页界面,输入文字就能合成语音,还能对外提供 API 接口,省去自己写前端和接口的功夫。
本地离线从视频画面中提取硬字幕并生成 srt 文件,基于深度学习做字幕区域检测和文字识别,不用调第三方 API。
用 Python 脚本剪辑视频,支持裁剪拼接、加字幕特效、导出 GIF 和调整帧率,适合批量处理和自动化视频流水线。
一个简洁但完整的全注意力 Transformer 实现,集成了多篇论文中值得尝试的实验性特性,方便研究者快速试验各种注意力变体。
三行代码就能完成训练和调参的 AutoML 框架,自动搞定表格、图像、文本和时间序列任务,省去手动选模型和调超参的麻烦。
在 Docker 容器里跑完整 macOS 虚拟机,一条命令就能在 Linux 或 Windows 上启动 macOS 环境,适合做 CI 测试和跨平台开发。
本地运行的 AI 会议记录工具,用 Whisper/Parakeet 在设备上完成转写和说话人分离,不需要会议机器人,会议内容不出本机。
用纯 Rust 从零实现的开源非线性视频编辑器,支持多轨道剪辑与视频处理,适合想要轻量、高性能剪辑工具的用户。
用 Vue3 + WebRTC + Node.js + Flutter 搭的远程桌面控制和游戏串流方案,可自建替代 ToDesk、RustDesk 这类商业工具。
集成 Waifu2x、Real-ESRGAN、Real-CUGAN 等多种超分模型与 RIFE 等补帧算法的图形界面工具,可批量放大视频、图片和 GIF 并提升帧率。
Rust 写的张量库和深度学习框架,兼顾灵活性与效率,支持自动微分、跨平台后端和内核融合,可训练和部署神经网络。
基于 PyTorch 的 3D 深度学习加速库,提供可微渲染、光照、相机 API 和物理仿真等模块,帮研究者快速搭建 3D 重建与神经渲染实验。
单文件实现的深度强化学习算法集合,涵盖 PPO、DQN、SAC 等主流算法,代码简洁易读,适合做研究和快速实验。
把 EPUB、PDF 或纯文本一键转成有声书,并生成与语音同步的字幕,适合批量制作有声内容。