单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案,通过逐层加载权重把显存需求压到极低,适合本地低配设备部署大模型。
面向大语言模型的强化学习训练框架,支持分布式训练与智能体工作流,让开发者能低成本训练和调优推理模型。
给 AI Agent 做强化学习训练和调优的框架,把 Agent 的推理轨迹变成训练信号,让智能体越跑越强。
基于 GEP 协议的自进化 AI Agent 引擎,用基因、胶囊和事件记录演化过程,让 Agent 的自主进化可审计、可追溯。
帮你把随手写的提示词改写成结构清晰、效果更好的版本,还能对比测试不同提示词的效果,适合经常和 LLM 打交道的人。
开源金融大语言模型,提供训练好的模型和微调流程,用于金融情感分析、智能投顾等场景。
开源可观测性平台,统一收集日志、指标、链路、RUM 和会话回放,单二进制部署,存储成本比 Datadog、Splunk、Elasticsearch 低约 140 倍。
开源复现 DeepMind AlphaEvolve 的进化式编码 Agent,用遗传算法和分布式进化自动搜索并优化代码,适合做算法发现与程序自动改进。
面向 LLM 推理服务的高性能 CUDA 内核库,提供注意力、MoE 等算子的 JIT 实现,用来加速 GPU 上的大模型推理。
用遗传算法和进化式迭代自动优化提示词、代码与 Agent 配置,让 LLM 反复自我反思改进,省去手工调参。
在 Apple Silicon 上通过 MLX 框架运行大语言模型,支持加载、推理和微调,让 Mac 本地跑 LLM 更省心。
…取值优化 - 播放器内核调用优化 - 云端字幕新增阿里云和Soniox引擎 - 性能优化 - 界面微调优化 - 修复ijk播放器无法正常启动的问题 - 修复Media3播放器缓冲在某些情况下被禁用的问题 - 优化vlc播放器组件加载逻辑 - 优化菜单加载 - 优化ASR模型设置流程,修复云端模型在部分情况下不工作的问题 - 回放源识别放开
A Helm chart for LLMKube - Kubernetes operator for GPU-accelerated LLM inference
A Helm chart for LLMKube - Kubernetes operator for GPU-accelerated LLM inference
…取值优化 - 播放器内核调用优化 - 云端字幕新增阿里云和Soniox引擎 - 性能优化 - 界面微调优化 - 修复ijk播放器无法正常启动的问题 - 修复Media3播放器缓冲在某些情况下被禁用的问题 - 优化vlc播放器组件加载逻辑 - 优化菜单加载 - 优化ASR模型设置流程,修复云端模型在部分情况下不工作的问题 - 回放源识别放开
…取值优化 - 播放器内核调用优化 - 云端字幕新增阿里云和Soniox引擎 - 性能优化 - 界面微调优化 - 修复ijk播放器无法正常启动的问题 - 修复Media3播放器缓冲在某些情况下被禁用的问题 - 优化vlc播放器组件加载逻辑 - 优化菜单加载 - 优化ASR模型设置流程,修复云端模型在部分情况下不工作的问题 - 回放源识别放开
…、x86 与 RISC-V 上的执行效率,优化 MoE 专家计算 RISC-V / 进迭时空 K3 LLM 适配 :完善 RVV 与 IME2 支持,优化低比特 LLM 推理和动态输入处理 📊 性能基准 <img width="4080" height="2448" alt="performance overview" src="htt