用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。
一条命令就能从数百个模型和供应商里筛出适合你硬件配置的本地大模型，省去逐个试跑和查显存的麻烦。
一套统一接口搞定 100+ 大语言模型和多模态模型的微调，支持 LoRA 等高效训练方式，省去为每个模型单独写训练脚本的麻烦。
基于 CTranslate2 重实现的 Whisper 语音转文字推理引擎，通过量化与高效推理大幅提速并降低显存占用，适合本地部署转录。
在工具输出、日志、文件和 RAG 片段进入 LLM 前先做压缩，编码 Agent 省约 20% token，JSON 省 60-95%，答案不变。提供库、代理和 MCP 服务器三种用法。
基于 TurboQuant 量化算法、用 Rust 实现并带 Python 绑定的向量索引，面向 RAG 和嵌入检索场景，提供高压缩比、低内存的近似最近邻搜索。
在 LLaMA/Alpaca 基础上扩充中文词表并做中文增量预训练，提供可本地 CPU/GPU 部署的中文大模型及 LoRA 微调、量化方案。
本地部署的 AI 量化投资研究平台，集成回测、机器学习选股与自动交易，帮个人开发者搭建从策略研究到实盘的完整量化流程。
让大模型在普通显卡上跑起来的 PyTorch 量化库，支持 8-bit 和 4-bit 权重压缩，也是 QLoRA 微调背后的核心依赖。
单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案，通过逐层加载权重把显存需求压到极低，适合本地低配设备部署大模型。
用有损量化把 PNG 压到原体积的几分之一，肉眼几乎看不出差别，适合给网页和 App 里的图片瘦身。
基于飞桨的 NLP 与大模型开发库，提供丰富模型库，覆盖 BERT、ERNIE、LLaMA 等，支持分布式训练、压缩和文档智能等任务。
开箱即用的 Python 财经数据接口库，一行代码就能拉取股票、债券、期货、外汇和宏观经济等公开数据，省去到处爬数据、清洗数据的麻烦。
面向本地部署的高速大模型推理引擎，通过稀疏激活与量化等技术，让消费级显卡也能流畅跑起 Llama 类模型。
面向手机等消费级设备的 LLM 推理引擎，用 2bit 量化和手写内核把大模型塞进端侧运行，主打低显存、跨 Android/iOS 的 ARM 部署。
SANA 是英伟达开源的高效扩散生成模型与配套训练推理引擎，支持文生图、文生视频和世界模型，用线性注意力和 NVFP4 量化在低显存下实现快速生成。
开源高频加密货币交易机器人框架，支持在多个交易所创建、回测和部署做市与套利策略，适合量化交易者快速搭建自动化交易系统。
开源自托管的智能体交易操作系统，把 AI 研究、Python 策略回测、因子挖掘、多资产模拟与实盘执行、风控和监控整合进一套可审计的技术栈。
面向稠密向量的高效相似度检索与聚类库，支持十亿级向量近邻搜索，是构建向量数据库和 RAG 检索层的底层引擎。
用纯 C99 从零实现的 Kimi K3 推理引擎，单 CPU、8.24 GB 内存即可跑 2.78 万亿参数模型，不依赖 BLAS、框架或 GPU。
MiniCPM-V 是面壁智能开源的多模态视觉语言模型，能在手机、PC 等本地设备上完成看图、听音和对话交互，无需依赖云端。
面向 LLM 应用的自动化评测工具，用合成测试集和多种指标量化 RAG 与生成效果，帮你在上线前发现质量问题。
纯 Rust 实现的 WebGPU 推理引擎，原生支持 GGUF 模型，兼容 OpenAI API，无需 Python 和 llama.cpp，单个二进制文件即可在任意 GPU 上跑本地大模型。
一站式大模型训练框架，支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练，可用 LoRA 等 PEFT 方式或全参数微调。
提供 20 多个高性能大语言模型的训练配方，覆盖预训练、微调和规模化部署全流程，适合想快速上手 LLM 训练与推理的开发者。
开源的多模态视觉指令微调模型，让 LLaMA 类大模型能看图对话，效果对标 GPT-4V，适合做图文问答和视觉助手。
用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。
面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。
轻量级 C++ 网格优化库，通过顶点缓存重排、索引压缩和网格简化，让 3D 模型体积更小、GPU 渲染更快。
基于苹果 MLX 框架的语音处理库，在 Apple Silicon 上高效完成语音合成、语音识别和语音转换，适合本地跑多模态语音任务。
在 Apple Silicon 上通过 MLX 框架运行大语言模型，支持加载、推理和微调，让 Mac 本地跑 LLM 更省心。
在任意 M 系列 MacBook 上仅用约 2GB 内存跑 Gemma 4 26B-A4B 大模型推理，靠 Metal GPGPU 把 MoE 模型塞进本地设备。
一个用 Rust 写的单文件 CLI 代理，在跑常见开发命令时把 LLM token 消耗砍掉 60-90%，帮编码 Agent 省成本。
用真实 GitHub issue 评测语言模型能否自动修复代码缺陷的基准测试集，为代码智能体能力提供可复现的量化对比。
用大模型智能体做量化交易，支持多智能体协作、策略回测和 MCP 接入，让个人也能搭起自己的自动交易助手。
OpenAI Whisper 语音识别模型的 C/C++ 移植版，无需 Python 和 GPU 依赖，在普通 CPU 上就能跑语音转文字。
基于 PyTorch 的扩散模型工具箱，统一加载和训练 Stable Diffusion、FLUX 等模型，做图像、视频、音频生成。
面向 Apple silicon 的数组计算框架，让机器学习模型能直接在 Mac 芯片上高效训练和推理，省去折腾 CUDA 的麻烦。
无需训练即可修改语言模型行为，通过消融技术去除审查、抑制废话、减少谄媚，让模型输出更直接可控。
O'Reilly《Hands-On Large Language Models》官方配套代码，用 Jupyter Notebook 带你动手跑通大模型的分词、嵌入、提示工程、微调与 RAG 等核心环节。