在 LLaMA/Alpaca 基础上扩充中文词表并做中文增量预训练,提供可本地 CPU/GPU 部署的中文大模型及 LoRA 微调、量化方案。
轻量级 Windows 桌面与任务栏硬件监控工具,可实时查看 CPU、GPU、内存、磁盘、网速和 FPS,支持插件扩展与内存清理。
面向 Apple silicon 的数组计算框架,让机器学习模型能直接在 Mac 芯片上高效训练和推理,省去折腾 CUDA 的麻烦。
面向稠密向量的高效相似度检索与聚类库,支持十亿级向量近邻搜索,是构建向量数据库和 RAG 检索层的底层引擎。
跨平台高性能推理与训练加速引擎,可直接加载 ONNX 模型,兼容 PyTorch、TensorFlow 等框架导出,解决模型在不同硬件上高效部署的问题。
用 C++ 写的图像处理与数据并行计算 DSL,把算法和调度分开描述,自动生成适配 CPU、GPU 等硬件的高性能代码。
把训练好的深度学习模型优化并部署到 Intel CPU、GPU 等硬件上做推理,支持视觉、LLM 和生成式模型,省去自己折腾底层加速的麻烦。
一款免费开源的 macOS 菜单栏工具箱,把窗口切换、应用卸载、访达增强、防休眠等常用小功能集中到菜单栏,省去装一堆零散工具。
基于 CTranslate2 重实现的 Whisper 语音转文字推理引擎,通过量化与高效推理大幅提速并降低显存占用,适合本地部署转录。
把深度学习模型编译到 CPU、GPU 及各类加速器上运行的开源编译器框架,通过统一中间表示和自动调优提升推理性能。
给扫描版 PDF 加上 OCR 文字层,让原本只能看的图片型 PDF 变成可搜索、可复制文本的文件。
轻量级命令行视频播放器,基于 FFmpeg 解码,支持硬件加速、字幕渲染和脚本扩展,适合在终端或嵌入其他应用中播放音视频。
MiniCPM-V 是面壁智能开源的多模态视觉语言模型,能在手机、PC 等本地设备上完成看图、听音和对话交互,无需依赖云端。
给 LLM 推理加速的 KV Cache 层,可对接 vLLM 等框架,复用和缓存键值对来降低显存占用、提升吞吐,支持 CUDA 和 ROCm。
用深度学习快速准确地识别文件真实类型,不依赖扩展名,支持 MIME 检测,Rust 实现,可嵌入各类应用做内容安全与文件分类。
🌟 Summary Release v8.4.210 makes hardware selection more consistent across model formats, improves OCR for rotated text, and fixes several deployment and infer
…rendering to reduce unnecessary compositing work, CPU/GPU overhead, and scrolling stutter on low-spec devices and integrated graphics. - Improved video source loading and
🎉 Announcing LightLLM v1.1.0: More Efficient, More Powerful! We are thrilled to introduce LightLLM v1.1.0 , featuring major architectural and optimization upgr
What's Changed support exporting squeezeformer to onnx (CPU & GPU) by @yygle in 1593 and 1634 support horizon x3 pi by @xingchensong in 1597 support noisy stude
Features - BC1 Quality Improvements Added new refine steps to improve quality of images with mixed low and high-frequency content. Boosted encoding performance
新功能: v0.1.0 - GUI界面 - 发布Windows、MacOS平台下CPU版本的可执行程序,暂不支持GPU加速