高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。
面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。
一套统一接口搞定 100+ 大语言模型和多模态模型的微调，支持 LoRA 等高效训练方式，省去为每个模型单独写训练脚本的麻烦。
面向 LLM 推理服务的高性能 CUDA 内核库，提供注意力、MoE 等算子的 JIT 实现，用来加速 GPU 上的大模型推理。
面向 MoE 模型的高效专家并行通信库，专门优化 GPU 间 all-to-all 分发与合并，降低大规模稀疏模型训练和推理的通信开销。
在任意 M 系列 MacBook 上仅用约 2GB 内存跑 Gemma 4 26B-A4B 大模型推理，靠 Metal GPGPU 把 MoE 模型塞进本地设备。
一站式大模型训练框架，支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练，可用 LoRA 等 PEFT 方式或全参数微调。
用纯 C99 从零实现的 Kimi K3 推理引擎，单 CPU、8.24 GB 内存即可跑 2.78 万亿参数模型，不依赖 BLAS、框架或 GPU。
用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。
基于 PyTorch 的深度学习优化库，通过 ZeRO、模型并行和混合专家等技术，让千亿到万亿参数模型的分布式训练与推理更省显存、更高效。
一条命令就能从数百个模型和供应商里筛出适合你硬件配置的本地大模型，省去逐个试跑和查显存的麻烦。
MiniCPM-V 是面壁智能开源的多模态视觉语言模型，能在手机、PC 等本地设备上完成看图、听音和对话交互，无需依赖云端。
从下载数据到生成文本，手把手教你从零训练自己的大语言模型，适合想搞懂 LLM 训练全流程的开发者动手实践。
从公开研究文献出发，用第一性原理复现 Claude Mythos 架构的理论实现，供研究者拆解其注意力机制与模型设计思路。
…first contribution in https://github.com/mudkipme/MoeMemosAndroid/pull/404 @PC267 made their first contribution in https://github.com/mudkipme/MoeMemosAndroid/pull/407 @b
…cancellation by @3361559784 in https://github.com/moeru-ai/auv/pull/438 feat(auv-driver-common): retain failed input delivery progress by @3361559784 in https://github.co
…m the latest [ main ](https://github.com/mudkipme/MoeMemosAndroid/commits/main) commit. Each push replaces the APK on this release. - Version: 2.1.0 (52) - Commit: [ f504
…ion coverage by @3361559784 in https://github.com/moeru-ai/auv/pull/435 fix(auv-cli-invoke): reject out-of-bounds OCR window clicks by @3361559784 in https://github.com/m
…en.clickText by @3361559784 in https://github.com/moeru-ai/auv/pull/386 feat(auv-cli-invoke): declare runner support per invoke command by @3361559784 in https://github.c
…ilable - account for stored and active experts in MoE models - separate quantization metadata from packed weight memory - calibrate dynamic memory without rescaling stati