一套用 CPU、GPU 和 APU 做纹理与 3D 模型压缩、优化和分析的工具集，支持 BC、ASTC、ETC 等格式，帮图形开发者减小资源体积并检查画质。

在 LLaMA/Alpaca 基础上扩充中文词表并做中文增量预训练，提供可本地 CPU/GPU 部署的中文大模型及 LoRA 微调、量化方案。

面向 Apple silicon 的数组计算框架，让机器学习模型能直接在 Mac 芯片上高效训练和推理，省去折腾 CUDA 的麻烦。

面向稠密向量的高效相似度检索与聚类库，支持十亿级向量近邻搜索，是构建向量数据库和 RAG 检索层的底层引擎。

跨平台高性能推理与训练加速引擎，可直接加载 ONNX 模型，兼容 PyTorch、TensorFlow 等框架导出，解决模型在不同硬件上高效部署的问题。

把训练好的深度学习模型优化并部署到 Intel CPU、GPU 等硬件上做推理，支持视觉、LLM 和生成式模型，省去自己折腾底层加速的麻烦。

一款免费开源的 macOS 菜单栏工具箱，把窗口切换、应用卸载、访达增强、防休眠等常用小功能集中到菜单栏，省去装一堆零散工具。

基于 CTranslate2 重实现的 Whisper 语音转文字推理引擎，通过量化与高效推理大幅提速并降低显存占用，适合本地部署转录。

把深度学习模型编译到 CPU、GPU 及各类加速器上运行的开源编译器框架，通过统一中间表示和自动调优提升推理性能。

给扫描版 PDF 加上 OCR 文字层，让原本只能看的图片型 PDF 变成可搜索、可复制文本的文件。

轻量级命令行视频播放器，基于 FFmpeg 解码，支持硬件加速、字幕渲染和脚本扩展，适合在终端或嵌入其他应用中播放音视频。

MiniCPM-V 是面壁智能开源的多模态视觉语言模型，能在手机、PC 等本地设备上完成看图、听音和对话交互，无需依赖云端。

给 LLM 推理加速的 KV Cache 层，可对接 vLLM 等框架，复用和缓存键值对来降低显存占用、提升吞吐，支持 CUDA 和 ROCm。

用深度学习快速准确地识别文件真实类型，不依赖扩展名，支持 MIME 检测，Rust 实现，可嵌入各类应用做内容安全与文件分类。

轻量级 Windows 桌面与任务栏硬件监控工具，可实时查看 CPU、GPU、内存、磁盘、网速和 FPS，支持插件扩展与内存清理。

面向 Transformer 模型的高性能推理引擎，用 C++ 实现并支持 CUDA、AVX、NEON 等硬件加速，让机器翻译等模型在 CPU/GPU 上跑得更快、显存占用更低。

用 C++ 写的图像处理与数据并行计算 DSL，把算法和调度分开描述，自动生成适配 CPU、GPU 等硬件的高性能代码。

PyTorch 官方的端侧推理框架，把训练好的模型导出并部署到手机、嵌入式和边缘设备上运行，覆盖 CPU、GPU 等多种后端。

云原生一站式机器学习与大模型平台，覆盖 Notebook 开发、拖拉拽 Pipeline 编排、分布式训练、超参搜索、推理服务和 SFT/强化学习微调，支持国产算力生态。

在 NVIDIA Jetson 系列开发板上实时查看 CPU、GPU、内存和功耗状态，还能直接调整风扇与功耗模式，省去手动翻 sysfs 的麻烦。

在终端里实时查看 Apple Silicon Mac 的 CPU、GPU、内存和功耗，界面类似 top，适合跑本地模型时盯资源占用。

面向 ggml 生态的开源 LLM/VLM 负载均衡与推理服务平台，用更少组件和简单部署在 CPU/GPU 上自托管大模型，可替代 llm-d 等方案。

面向 Apple Silicon Mac 的实时系统监控工具，无需 sudo 即可查看 CPU、GPU 等硬件指标，提供 TUI 界面、JSON/Prometheus 指标服务和 Rust 库。

在终端里实时查看 Apple Silicon Mac 的 CPU、GPU、内存和功耗占用，类似 top 但针对 M 系列芯片优化，适合跑本地模型时盯资源。

在手机或 Mac 上离线跑 GGUF 大模型、视觉识别、Whisper 语音转文字和 Stable Diffusion 生图，支持工具调用与局域网服务，无需账号和 API Key。

纯 C++ 实现的大模型推理引擎，无需 Python 环境即可在电脑的 CPU 和 GPU 上实时运行对话模型。

高性能机器学习模型服务框架，支持动态批处理和 CPU/GPU 流水线，把单机算力充分利用起来，适合部署 CV、LLM 等模型。

一款多功能的系统监控工具，能实时查看 CPU、内存、磁盘、GPU、网络、传感器和进程等运行状态，适合排查性能问题。

macOS 菜单栏性能诊断工具，实时记录 CPU、内存、GPU、网络和电池数据，帮你定位卡顿和性能问题，无遥测、免费开源。

把 Hugging Face 的 Transformers、Diffusers 等模型接到 Intel 的 OpenVINO 等优化工具上，加速 CPU/GPU 推理，覆盖 LLM、语音识别、语音合成和多模态模型。

为 VapourSynth 视频处理框架提供 CPU/GPU 高效推理运行时，内置 waifu2x、Real-ESRGAN、RIFE、Real-CUGAN 等超分、降噪、插帧模型，方便在视频后期流程里直接调用。

在 RTX 5090 / RTX PRO 6000（sm_120）上跑 DeepSeek-V4.1-Flash 等前沿 MoE 大模型的 vLLM 适配方案，支持 GPU+CPU 混合推理和 2-bit 专家量化。

Krasis 是一个混合式 LLM 推理运行时，通过 CPU+GPU 协同把大模型跑在显存有限的消费级显卡上，支持 MoE 和 GGUF 模型。

纯 C 写的本地大模型推理引擎，靠 MoE 稀疏激活和 NVMe 流式加载，让 32GB 笔记本跑 80B 模型，速度全面超过 llama.cpp。

面向 Apple Silicon Mac 的轻量系统监控工具，用一块可任意缩放的悬浮玻璃面板实时显示 CPU、GPU 等运行状态，替代 btop、htop 这类终端监控。

跨平台命令行工具，用同一套测试测 CPU、GPU、NPU 的峰值算力、内存带宽和延迟，覆盖 CUDA、Metal、OpenCL 等主流 API。

macOS 菜单栏系统监控工具，实时显示 CPU、内存、GPU、网络、磁盘、电池和温度，自身仅占 0.046% CPU。

给 vLLM 推理服务器套上现代化 Web 界面，方便管理和对话，兼容 GPU/CPU，并针对 macOS Apple Silicon 与 OpenShift/Kubernetes 部署做了优化。

轻量跨平台的 CPU/GPU 实时监控命令行工具，直接调用厂商 API 获取准确硬件数据，并用 ASCII 图表直观展示。

把 CPU、GPU 等硬件传感器数据采集后推送到 Graphite、InfluxDB、Prometheus 等时序数据库，方便用 Grafana 做监控看板。