用 Python API 定义大模型,并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理,还提供 Python/C++ 运行时来编排高性能服务。
通用大模型部署引擎,借助机器学习编译技术把 LLM 高效跑在各种硬件上,从手机到服务器都能用。
一条命令就能从数百个模型和供应商里筛出适合你硬件配置的本地大模型,省去逐个试跑和查显存的麻烦。
从零手写实现 AI 工程核心组件的实战课程,覆盖智能体、大模型、计算机视觉与深度学习,边学边构建可交付的项目。
分布式 AI 计算引擎,提供核心分布式运行时和一组 AI 库,用来加速机器学习负载、大模型推理与超参搜索。
一个可随使用不断成长的 AI Agent 框架,支持接入 Claude、ChatGPT 等多种大模型,用于搭建和编排自主智能体。
一个把 QQ、Discord 等聊天平台与大模型、插件和 MCP 能力串起来的 AI Agent 开发框架,能快速搭建多平台聊天机器人和智能助手。
在骁龙设备的 NPU、GPU 和 CPU 上本地跑大模型和多模态模型,几行代码就能接入,省去自己适配硬件的麻烦。
一套面向大模型训练的分布式并行框架,把数据、模型、流水线并行和异构训练整合成统一接口,让训练和推理更省显存、更快。
把 NumPy 风格的 Python 代码自动微分、向量化并 JIT 编译到 GPU/TPU,写起来像 NumPy,跑起来像高性能计算。
Brigade 是一个 TypeScript 编写的自主智能体运行时,用来编排多智能体协作(AI crew),把个人 AI 助手做成企业级可靠的服务。
冰霜之地的技术博客合集,深入拆解 Go、HTTP/2、密码学、算法与机器学习等源码,适合想系统啃底层实现和系统设计的工程师。
一个能自主写代码、改 bug、跑命令的 AI 开发代理,把大模型接入真实开发环境,让编码任务从对话直接落到执行。
给大模型智能体加上持久记忆和状态管理,让 Agent 能跨会话记住信息、持续学习并自我改进。
OpenAI Whisper 语音识别模型的 C/C++ 移植版,无需 Python 和 GPU 依赖,在普通 CPU 上就能跑语音转文字。
跨平台桌面 AI 助手兼 MCP 客户端,兼容主流大模型服务商,可通过 MCP 服务器接入本地知识库和外部工具。
面向手机等消费级设备的 LLM 推理引擎,用 2bit 量化和手写内核把大模型塞进端侧运行,主打低显存、跨 Android/iOS 的 ARM 部署。
把 IDE 直接接进终端的编码智能体,支持 Claude、OpenAI 等多模型和 MCP,让命令行里也能完成读写代码、调用工具的完整开发流程。
在任意 M 系列 MacBook 上仅用约 2GB 内存跑 Gemma 4 26B-A4B 大模型推理,靠 Metal GPGPU 把 MoE 模型塞进本地设备。
Android 上能力最强的 AI Agent 与聊天软件,支持本地 llama/MNN 模型和终端操作,让手机直接跑智能体任务。
给 LLM 加一层语义缓存,相似问题直接命中缓存结果,省下重复调用 API 的钱和时间,已集成 LangChain 和 llama_index。
企业级 AI 低代码平台,权限、多租户、工作流、报表、大屏、AI 知识库等通用能力开箱即用,AI 只需生成业务差异部分,一句话即可生成完整系统。
一套能在手机和边缘设备上本地跑大模型、扩散模型和多模态推理的生产级 SDK,覆盖 Android、iOS、Flutter,省去自己搭推理链路的麻烦。
给 AI Agent 运行框架加上可观测与策略执行层,记录每次运行轨迹,并实时拦截违规行为,提升运行时可靠性。
给 OpenOPC 的智能体 DAG 运行时加一层零改造的人在回路适配器,让外部智能体执行流程中能插入人工审核与干预。
把强化学习接到 LLM Agent 应用上的训练框架,让 Agent 能在真实任务中通过 RL 持续优化策略,配置简单、扩展灵活。