一站式大模型训练框架,支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练,可用 LoRA 等 PEFT 方式或全参数微调。
一款 Android 端的轻量笔记应用,随时记录想法和灵感,支持连接自托管的 Memos 服务,数据掌握在自己手里。
一款用 SwiftUI 写的 iOS 笔记应用,能快速记录想法和灵感,支持自托管,适合想要轻量、数据自主的随手记场景。
一款基于 Electron 的桌面高保真音乐播放器,通过 ASIO 和 SDM 实现位完美输出,适合连接 NAS 或 Navidrome 播放 Hi-Res 曲库。
在 RTX 5090 / RTX PRO 6000(sm_120)上跑 DeepSeek-V4.1-Flash 等前沿 MoE 大模型的 vLLM 适配方案,支持 GPU+CPU 混合推理和 2-bit 专家量化。
高性能大模型与多模态模型推理服务框架,通过优化注意力机制和调度策略提升吞吐与延迟表现,支持 Llama、DeepSeek、MoE 等主流模型部署。
面向大语言模型的高吞吐、低显存推理与服务引擎,通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用,适合部署在线推理服务。
跨平台操作系统自动化编排层,用 TypeScript、Rust、Python、Go 的 SDK 统一驱动桌面和手机 GUI 操作,零 token 成本,替代 computer use 方案。
用 PyTorch 从零手写现代 LLM 架构、训练与推理的实战课程,配套可直接运行的 notebook,适合边跑边学大模型原理。
一套统一接口搞定 100+ 大语言模型和多模态模型的微调,支持 LoRA 等高效训练方式,省去为每个模型单独写训练脚本的麻烦。
面向 MoE 模型的高效专家并行通信库,专门优化 GPU 间 all-to-all 分发与合并,降低大规模稀疏模型训练和推理的通信开销。
用 Python API 定义大模型,并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理,还提供 Python/C++ 运行时来编排高性能服务。
面向 LLM 推理服务的高性能 CUDA 内核库,提供注意力、MoE 等算子的 JIT 实现,用来加速 GPU 上的大模型推理。
用纯 C99 从零实现的 Kimi K3 推理引擎,单 CPU、8.24 GB 内存即可跑 2.78 万亿参数模型,不依赖 BLAS、框架或 GPU。
在任意 M 系列 MacBook 上仅用约 2GB 内存跑 Gemma 4 26B-A4B 大模型推理,靠 Metal GPGPU 把 MoE 模型塞进本地设备。
在自己的 GPU 上跑 GLM-5.3-Flash、DeepSeek-V4.1-Flash、MiniMax-M3.1-Flash 等大模型,统一引擎加可视化面板,兼容 OpenAI 与 Anthropic 接口。
用单张 LoRA 做图像编辑,仅需 0.1% 训练数据就能在身份保持上超过 GPT-4o,4GB 显存即可运行。
YOLO-Master 是腾讯开源的实时目标检测模型,用专家混合(MoE)搭配专用 Transformer 提升检测精度与速度,支持检测、分割和分类任务。
Halo 是 White Circle 开源的大模型与多模态模型训练框架,支持分布式训练、LoRA 微调、MoE 和异步强化学习,方便搭建和扩展训练流程。
纯 C 写的本地大模型推理引擎,靠 MoE 稀疏激活和 NVMe 流式加载,让 32GB 笔记本跑 80B 模型,速度全面超过 llama.cpp。
在免费 Kaggle TPU v5e-8 上跑 GLM-5.3-Flash 320B MoE 和 Qwen3.8-27B 等前沿大模型,自研 JAX 推理引擎支持 262k 长上下文和前缀缓存,可接入 Claude Code 等编码代理。
基于 vLLM 的 NUMA 扩展推理引擎,充分利用 CPU 和内存资源降低显存占用,支持 MOE 大模型混合推理与 GPU/NUMA 并行。
在单张 RTX 4090 加 110GB 内存的游戏 PC 上本地跑 552B 的 DeepSeek-V4.1-Flash 做编码智能体,MoE 专家分层放在显存、锁页内存和 NVMe 上,兼容 OpenAI 与 Anthropic API。
在 AMD Strix Halo 上本地跑 Qwen3.8-Flash-Next 和 NPU 小模型,用同一端口同时提供 OpenAI 与 Anthropic 兼容 API,让本地推理像调前沿云服务一样顺手。
纯 Rust + CUDA 实现的大模型推理引擎,不依赖 PyTorch,兼容 OpenAI 接口,可部署 Qwen3 到 Kimi-K2 等模型。
Krasis 是一个混合式 LLM 推理运行时,通过 CPU+GPU 协同把大模型跑在显存有限的消费级显卡上,支持 MoE 和 GGUF 模型。
纯 Rust 实现的 CPU 端 OCR 引擎,跑百度 Unlimited-OCR 这个 3B MoE 视觉语言模型,自带 int8 定制算子,不依赖 ML 框架、Python 或 GPU。
面向 AI 秋招的中英双语面试速查表,覆盖机器学习、大模型、扩散模型与智能体,可生成单文件 HTML 随时翻阅,另附学术主页生成器。
MindSpore 官方的大模型实战课程,带你从 BERT、GPT 一路动手实现到 ChatGLM、LLaMA2,适合系统学习大模型原理与训练推理。
在 16–64 GB 内存的 Apple Silicon Mac 上,从 SSD 流式加载 105 GB 的 4-bit 大模型跑推理,纯 Swift + MLX/Metal 实现,离线无需 Python。
自动化调整大模型对齐行为的工具,支持直接干预、LoRA 和 MoE 专家级消融,并用 Optuna 多目标搜索调参。
用 Rust + CUDA 写的 SSD 流式推理引擎,让消费级 16GB 显卡也能跑 743B 级 MoE 大模型,自动测 PCIe 带宽并分配注意力与热专家。
从零手写的 LLM 推理引擎,实现分页 KV 缓存、连续批处理、投机解码和 CUDA 图等优化,并提供 OpenAI 兼容服务接口。
…first contribution in https://github.com/mudkipme/MoeMemosAndroid/pull/404 @PC267 made their first contribution in https://github.com/mudkipme/MoeMemosAndroid/pull/407 @b
…cancellation by @3361559784 in https://github.com/moeru-ai/auv/pull/438 feat(auv-driver-common): retain failed input delivery progress by @3361559784 in https://github.co
…m the latest [ main ](https://github.com/mudkipme/MoeMemosAndroid/commits/main) commit. Each push replaces the APK on this release. - Version: 2.1.0 (52) - Commit: [ f504
…ion coverage by @3361559784 in https://github.com/moeru-ai/auv/pull/435 fix(auv-cli-invoke): reject out-of-bounds OCR window clicks by @3361559784 in https://github.com/m
…en.clickText by @3361559784 in https://github.com/moeru-ai/auv/pull/386 feat(auv-cli-invoke): declare runner support per invoke command by @3361559784 in https://github.c
…ilable - account for stored and active experts in MoE models - separate quantization metadata from packed weight memory - calibrate dynamic memory without rescaling stati