用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。

本地部署的 AI 量化投资研究平台，集成回测、机器学习选股与自动交易，帮个人开发者搭建从策略研究到实盘的完整量化流程。

让大模型在普通显卡上跑起来的 PyTorch 量化库，支持 8-bit 和 4-bit 权重压缩，也是 QLoRA 微调背后的核心依赖。

用大模型智能体做量化交易，支持多智能体协作、策略回测和 MCP 接入，让个人也能搭起自己的自动交易助手。

基于 TurboQuant 量化算法、用 Rust 实现并带 Python 绑定的向量索引，面向 RAG 和嵌入检索场景，提供高压缩比、低内存的近似最近邻搜索。

用有损量化把 PNG 压到原体积的几分之一，肉眼几乎看不出差别，适合给网页和 App 里的图片瘦身。

面向文本嵌入模型的高性能推理服务，用 Rust 编写，可快速把文本转成向量，适合搭建检索和 RAG 的向量化后端。

一条命令就能从数百个模型和供应商里筛出适合你硬件配置的本地大模型，省去逐个试跑和查显存的麻烦。

面向本地部署的高速大模型推理引擎，通过稀疏激活与量化等技术，让消费级显卡也能流畅跑起 Llama 类模型。

面向稠密向量的高效相似度检索与聚类库，支持十亿级向量近邻搜索，是构建向量数据库和 RAG 检索层的底层引擎。

用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。

Private chat with local GPT with document, images, video, etc. 100% private, Apache 2.0. Supports oLLaMa, Mixtral, llama…

用多个 LLM 智能体分工协作模拟金融交易决策，把研究、分析、下单等环节拆给不同角色，适合做量化交易策略的智能体实验。

SANA 是英伟达开源的高效扩散生成模型与配套训练推理引擎，支持文生图、文生视频和世界模型，用线性注意力和 NVFP4 量化在低显存下实现快速生成。

基于 CTranslate2 重实现的 Whisper 语音转文字推理引擎，通过量化与高效推理大幅提速并降低显存占用，适合本地部署转录。

基于飞桨的 NLP 与大模型开发库，提供丰富模型库，覆盖 BERT、ERNIE、LLaMA 等，支持分布式训练、压缩和文档智能等任务。

面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

面向手机等消费级设备的 LLM 推理引擎，用 2bit 量化和手写内核把大模型塞进端侧运行，主打低显存、跨 Android/iOS 的 ARM 部署。

开源高频加密货币交易机器人框架，支持在多个交易所创建、回测和部署做市与套利策略，适合量化交易者快速搭建自动化交易系统。

提供 20 多个高性能大语言模型的训练配方，覆盖预训练、微调和规模化部署全流程，适合想快速上手 LLM 训练与推理的开发者。

在 LLaMA/Alpaca 基础上扩充中文词表并做中文增量预训练，提供可本地 CPU/GPU 部署的中文大模型及 LoRA 微调、量化方案。

面向大模型应用开发的 RAG 全栈实战教程，覆盖文本向量化、检索、重排与多模态等环节，手把手带你搭建检索增强生成系统。

开源的多模态视觉指令微调模型，让 LLaMA 类大模型能看图对话，效果对标 GPT-4V，适合做图文问答和视觉助手。

一站式大模型训练框架，支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练，可用 LoRA 等 PEFT 方式或全参数微调。

开箱即用的 Python 财经数据接口库，一行代码就能拉取股票、债券、期货、外汇和宏观经济等公开数据，省去到处爬数据、清洗数据的麻烦。

开源自托管的智能体交易操作系统，把 AI 研究、Python 策略回测、因子挖掘、多资产模拟与实盘执行、风控和监控整合进一套可审计的技术栈。

面向 Apple silicon 的数组计算框架，让机器学习模型能直接在 Mac 芯片上高效训练和推理，省去折腾 CUDA 的麻烦。

SeaTunnel 是高性能分布式数据集成工具，支持批处理、CDC 变更捕获和多模态数据接入，用于海量数据在异构系统间高效同步。

用大模型自动分析 A 股等多市场股票，整合多源行情、实时新闻和决策看板，还能零成本定时跑并推送结果。

用真实 GitHub issue 评测语言模型能否自动修复代码缺陷的基准测试集，为代码智能体能力提供可复现的量化对比。

面向 AI Agent 的代码检索工具，用嵌入向量做语义搜索，比 grep+read 少消耗 99% 的 token，让 Agent 更快更准地定位代码。

MiniCPM-V 是面壁智能开源的多模态视觉语言模型，能在手机、PC 等本地设备上完成看图、听音和对话交互，无需依赖云端。

基于 Langchain 和 ChatGLM、Qwen、Llama 等本地大模型搭建的知识库问答应用，支持 RAG 检索增强与 Agent 能力，可离线部署私有文档问答系统。

用 LoRA、Adapter 等少量参数微调大模型和扩散模型，大幅降低显存与训练成本，是 Hugging Face 生态里做参数高效微调的标准库。

面向 MoE 模型的高效专家并行通信库，专门优化 GPU 间 all-to-all 分发与合并，降低大规模稀疏模型训练和推理的通信开销。

低代码 MCP 框架，用可视化方式快速搭建复杂 RAG 流水线，省去大量胶水代码，适合快速验证检索增强生成方案。

在 PostgreSQL 数据库内直接跑机器学习和向量检索，用 SQL 就能做嵌入、分类、聚类和 LLM 推理，省去单独搭推理服务的麻烦。

Rust 写的张量库和深度学习框架，兼顾灵活性与效率，支持自动微分、跨平台后端和内核融合，可训练和部署神经网络。

开源向量数据库，同时存储对象和向量，把向量检索和结构化过滤结合起来，具备云原生数据库的容错与扩展能力。

一套透明高效的 Python 金融分析工具包，可拉取市场与财报数据，计算基本面、因子和绩效指标，并支持 MCP 接入 Agent 工作流。