用 C/C++ 实现的大模型推理引擎,能在普通 CPU 和消费级显卡上跑 LLaMA 等模型,支持量化以降低显存占用。
一条命令就能从数百个模型和供应商里筛出适合你硬件配置的本地大模型,省去逐个试跑和查显存的麻烦。
MiniCPM-V 是面壁智能开源的多模态视觉语言模型,能在手机、PC 等本地设备上完成看图、听音和对话交互,无需依赖云端。
纯 Rust 实现的 WebGPU 推理引擎,原生支持 GGUF 模型,兼容 OpenAI API,无需 Python 和 llama.cpp,单个二进制文件即可在任意 GPU 上跑本地大模型。
用一份 YAML 配置就能微调大模型,靠分层流式加载让 8B 模型在 4GB 显存的笔记本 GPU 上跑起来,省去手写训练脚本和显存焦虑。
面向 Apple silicon 的数组计算框架,让机器学习模型能直接在 Mac 芯片上高效训练和推理,省去折腾 CUDA 的麻烦。
统一评测语言模型少样本能力的框架,支持多种任务和模型,方便横向对比不同模型的性能表现。
在 Apple Silicon 上通过 MLX 框架运行大语言模型,支持加载、推理和微调,让 Mac 本地跑 LLM 更省心。
把多个预训练大模型按不同策略合并成一个新模型的工具集,不用重新训练就能组合各家能力,适合做模型融合实验。
面向本地部署的高速大模型推理引擎,通过稀疏激活与量化等技术,让消费级显卡也能流畅跑起 Llama 类模型。
阿里云通义团队开源的多模态大模型系列,能同时理解图像和文本,用于视觉问答、图文推理等视觉语言任务。
中文 LLaMA-2 与 Alpaca-2 大模型二期项目,提供支持 64K 超长上下文的中文预训练和指令微调模型,可直接用于长文本理解与对话。
一站式大模型微调工具,支持 LoRA、QLoRA、全参等多种训练方式,用配置文件就能跑起各种开源模型的微调任务。
一套系统的大语言模型入门课程,用学习路线图和可直接运行的 Colab 笔记本,带你从零掌握 LLM 的原理与实战。
Voxtype 1.2.0 runs GGUF models in every release binary: Cohere, Parakeet, Parakeet Ultra, Qwen3-ASR, GigaAM, Moonshine, SenseVoice and Nemotron. It also adds model upgrad
… release candidate. Every release binary now runs GGUF models, and Parakeet and Cohere users on ONNX models get offered the GGUF upgrade. GGUF in every build Every releas
…识别进程。 - 模型写清楚是哪一个 :语音模型页、各功能页的模型菜单、设置引导和历史都按系列、尺寸和量化称呼模型(Qwen3-ASR 1.7B (8bit)、Qwen3-ASR 0.6B (4bit)),和 Voxt 1.x 一样,不再写“精准语音识别”;卡片上有简短的标签(本地、准确或快速、实时、是否支持主语言)和使用位置,没有评分。
…行共用一个密码。 微调分身 - AstrBot、LangBot 等聊天机器人通过令牌接入分身。 - 量化配置在训练和推理中正确生效(@xhrxgr, 218)。 - 通过 dtype 选项支持 T4、V100 等不支持 bfloat16 的显卡(@octo-patch, 212)。 - test-model 在服务未启动时提示先启动服务(
…GPU/电视、干净Gatekeeper、长期弱网和完整应用内更新未验。保帧不消除网络/转码等待,也未量化逐帧黑屏耗时。系统原生画中画不显示网页保帧层。 未替换本机正式安装,未修改正式用户资料。来源可用性由平台决定,不提供付费内容解锁。
…图片 URL :此前已在 VARCHAR 列上支持语义索引:由 Embedding 模型将文本自动向量化,实现「Data in, Data out」的检索体验。随多模态检索需求增长(如电商以图搜图、内容审核、多模态 RAG),V4.6.0 BP1 版中语义索引新增对图片 URL 的支持能力:在 VARCHAR 列存放图片 URL,创建索引