阿里云通义团队开源的多模态大模型系列,能同时理解图像和文本,用于视觉问答、图文推理等视觉语言任务。
基于 Qwen3.6-27B 做去审查与能力增强的 abliteration 模型,配合 NVFP4 量化和 DFlash 投机解码,在 DGX Spark 上优化长上下文草稿接受率,附多种 HF 变体与 Docker 部署。
在 DGX Spark 上跑 Qwen3.5-122B-A10B 的 INT4 量化推理方案,靠 AutoRound 加 MTP 把吞吐从 28.3 提到 51 tok/s,显存吃紧的单机也能跑大模型。
在 Windows 上原生一键跑 Qwen3.6-27B 推理,无需 WSL 或 Docker,RTX 5090 上可达 158 tok/s,适合本地离线、注重隐私的部署。
面向大语言模型的高吞吐、低显存推理与服务引擎,通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用,适合部署在线推理服务。
开源 AI 语音工作室,支持声音克隆、语音听写和语音生成,基于 Qwen3-TTS 与 Whisper,可在 CUDA 或 MLX 上本地运行。
本地跑和训练大模型、扩散模型的图形界面,支持 GGUF、MLX 及 Qwen、DeepSeek、Gemma、FLUX 等主流模型,省去命令行配置的麻烦。
一站式大模型训练框架,支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练,可用 LoRA 等 PEFT 方式或全参数微调。
开源企业级智能体平台,可快速搭建基于知识库的问答助手和 Agent,支持接入 DeepSeek、Llama 等大模型与 MCP 工具。
用 GRPO 强化学习给多步 Agent 做在线训练,让 Qwen、Llama 等模型在真实任务里边干边学,提升实际表现。
在骁龙设备的 NPU、GPU 和 CPU 上本地跑大模型和多模态模型,几行代码就能接入,省去自己适配硬件的麻烦。
一套可直接在 Colab 跑的计算机视觉教程合集,覆盖 ResNet 到 RF-DETR、YOLO11、SAM 3、Qwen3-VL 等模型,帮你快速上手训练、微调与推理。
面向 Apple Silicon 的端侧语音 AI 工具包,用 Swift 在 iOS 和 macOS 上本地跑语音识别、说话人分离和语音合成,不用联网也能处理音频。
本地优先的深度研究问答系统,接 llama.cpp、Ollama 等本地或云端模型,聚合 arXiv、PubMed 及私有文档等十余个检索源,全程加密。
持续更新的中文大模型能力评测榜单,已收录374个商用与开源模型,并提供超200万条缺陷库,方便研究者横向对比模型表现、定位问题并改进。
用 Python 写的开源深度研究工具,能对私有数据做推理式检索,替代闭源深度研究方案,支持接入 Milvus 和多种大模型。
一站式桌面工具,用本地 Whisper、FunASR 等模型离线把视频转成字幕,还能翻译、AI 配音、声音克隆和烧录字幕,支持批量处理与全平台 GPU 加速。
用 Qwen3-ASR、Whisper 和本地 LLM 给日语音视频自动生成字幕,靠 TEN-VAD 和降噪处理应对嘈杂背景音。
TuriX-CUA 是一个让 AI 直接操作图形界面的计算机使用代理,通过视觉模型识别屏幕并模拟鼠标键盘完成自动化任务。
在 Mac 上跑 Qwen 3.8 等大模型的原生推理引擎,靠 MTP 投机解码把速度拉到 125 tok/s,16GB 内存也能跑 27B 模型,并提供 OpenAI/Anthropic 兼容的本地服务。
让大参数 Qwen 模型在消费级显卡上跑得动、跑得快:通过 vLLM 补丁和重量化流水线,单张 24GB 卡即可服务 27B 模型,并附完整基准测试。
开源微调 Qwen-VL 系列多模态大模型的实现,支持 Qwen2-VL、Qwen2.5-VL、Qwen3-VL 等版本,方便按自己的数据定制视觉语言模型。
一款原生 macOS 聊天应用,基于 llama.cpp 在本地运行大模型,可直接读取你 Mac 上的文件、文件夹和网页内容来回答问题,无需额外安装其他软件。
在 AMD Strix Halo 上本地跑 Qwen3.8-Flash-Next 和 NPU 小模型,用同一端口同时提供 OpenAI 与 Anthropic 兼容 API,让本地推理像调前沿云服务一样顺手。
基于 Qwen3-TTS 的多角色有声书生成器,用 LLM 标注脚本、克隆音色并逐句控制风格,可导出 MP3、分章 M4B 或 Audacity 多轨工程。
把 RVC、F5-TTS、Chatterbox、IndexTTS-2 等十多种本地语音合成与变声引擎集成进 ComfyUI,支持多语言、超长文本、SRT 时间轴和角色音色,一站式完成配音与音频编辑。
开源多模态训练框架,基于 Qwen3 等底座训练视觉语言模型,降低多模态模型训练门槛。
基于 PyTorch 原生分布式训练的 LLM/VLM 训练库,开箱即用兼容 Hugging Face,方便微调 Llama、Gemma、GLM 等主流大模型。
给 DeepSeek Harness 加语音女友的插件:Whisper 听你说话,Qwen3-TTS 克隆音色并逐句流式朗读,配数字人动画窗,支持插话打断。
在 Apple Silicon 上通过 MLX 原生实现 DeepSeek DSpark 与 DFlash 投机解码,让本地大模型推理最高提速 4 倍且无损,兼容 Gemma、Qwen、Nemotron 等模型。
在免费 Kaggle TPU v5e-8 上跑 GLM-5.3-Flash 320B MoE 和 Qwen3.8-27B 等前沿大模型,自研 JAX 推理引擎支持 262k 长上下文和前缀缓存,可接入 Claude Code 等编码代理。
纯 CUDA 手写的 Qwen3-0.6B 单批次静态推理引擎,不依赖第三方库,适合学习 LLM 推理底层实现或在 GPU 上跑小模型。
纯 Rust + CUDA 实现的大模型推理引擎,不依赖 PyTorch,兼容 OpenAI 接口,可部署 Qwen3 到 Kimi-K2 等模型。
把 Qwen3-VL、Florence-2、InternVL 等视觉语言模型接进 ComfyUI 的节点包,顺带支持开放词表检测、SAM 分割、视频时序推理和 GGUF 量化加载。
纯 C 写的本地大模型推理引擎,靠 MoE 稀疏激活和 NVMe 流式加载,让 32GB 笔记本跑 80B 模型,速度全面超过 llama.cpp。
在 16–64 GB 内存的 Apple Silicon Mac 上,从 SSD 流式加载 105 GB 的 4-bit 大模型跑推理,纯 Swift + MLX/Metal 实现,离线无需 Python。
在单张 RTX 4090 加 110GB 内存的游戏 PC 上本地跑 552B 的 DeepSeek-V4.1-Flash 做编码智能体,MoE 专家分层放在显存、锁页内存和 NVMe 上,兼容 OpenAI 与 Anthropic API。
基于 llama.cpp 的推理分支,针对 Ampere 架构 Nvidia 显卡(尤其 RTX 3090/3090 Ti)深度优化,在长上下文场景下显著提升生成速度,并支持低显存配置跑 200K 以上上下文。
在官方 DocVQA 基准上让智能体自动迭代 Qwen3-VL 的训练代码,省去手工调参和实验设计,支持 NVIDIA 多卡与 Apple Silicon。
面向视觉语言模型的 INT4 量化部署方案,通过量化感知蒸馏把大模型压缩到 4bit,在保持多模态能力的同时大幅降低显存占用。
…rozen weights stay on disk, adapters stay on GPU. Qwen3.8-Flash-Next trains under 6GB (RTX 3060 Ti); Qwen3.8-27B trains in ~2GB at seq 512. bash pip install -U airllm pip
Qwen3.8-Flash-Next ( Qwen/Qwen3.8-Flash-Next ) streams on a single card in 5.95GB VRAM (RTX 4090). The ~51B n-gram table is file-mapped on the host; decoder layers stream
…ghts - Primary deployment checkpoint: ForeverBlue/Qwen3-VL-2B-GRACE-W4G128-AWQ - Real AWQ-packed INT4 weights with direct Hugging Face Hub loading - 75.0 average across s
…to-end SARM support, new model families (XVLA and Qwen3-VL), simulation and data-collection tooling (FluxBiSim and FluxDAgger), and broader hardware compatibility includi