用 Rust 打造的高性能多人协作代码编辑器,由 Atom 和 Tree-sitter 作者开发,主打低延迟编辑与实时协同编码。
自建的游戏串流主机端,配合 Moonlight 客户端把 PC 游戏低延迟推流到电视、手机等设备,替代 NVIDIA GameStream。
CNCF 出品的分布式追踪平台,采集服务调用链路并做可视化分析,帮你在微服务和 LLM 应用里定位延迟与故障根因。
简单高性能的实时流媒体服务器,支持 RTMP、WebRTC、HLS、SRT 等主流协议和多种音视频编码,适合搭建低延迟直播与分发服务。
超低延迟的语音转文字、意图识别和语音合成工具,用来搭建语音助手和语音交互界面,响应快、适合实时对话场景。
NVIDIA 官方的高性能深度学习推理 SDK,能把训练好的模型在 NVIDIA GPU 上做极致加速和部署,适合追求低延迟高吞吐的生产推理场景。
基于大语言模型的语音合成系统,能生成接近真人音色的自然语音,并支持实时流式输出,适合搭建低延迟的 TTS 服务。
多语言大语音生成模型,覆盖推理、训练到部署全流程,支持中英日粤语及跨语种合成,适合做语音克隆和对话机器人。
用前向纠错(FEC)在高延迟丢包链路上改善网络质量,为 TCP/UDP/ICMP 等所有流量建立隧道,降低丢包带来的卡顿。
基于 ClashMeta 的多平台代理客户端,用 Flutter 构建,界面简洁易用,开源无广告,支持 Hysteria、VLESS 等协议。
基于 Stream 边缘网络快速搭建语音与视觉智能体,可接入任意模型或视频源,实现超低延迟的实时多模态交互。
一站式 IP 工具箱,可查 IP 归属地与地理位置、检测 WebRTC 和 DNS 泄漏、做 IP 质量与浏览器指纹检测,还带网速、延迟、MTR、Whois 等网络诊断。
面向 AI Agent 的自进化上下文数据库,把 Agent 记忆、知识 RAG 和技能统一管理,解决多来源上下文分散、难以持续演进的问题。
Zipkin 是一个分布式追踪系统,用于收集和查看微服务间的调用链路与耗时,帮助定位跨服务延迟和故障。
面向 RAG 的文档索引方案,不依赖向量数据库,用推理方式定位和检索文档内容,适合构建 Agent 式检索流程。
高性能分布式图数据库,专为实时查询场景设计,支持知识图谱等大规模关联数据的存储与毫秒级检索。
一行代码接入的 LLM 可观测性平台,能监控大模型调用、追踪成本与延迟,并支持评估和实验对比,方便排查线上问题。
工业级零样本语音合成系统,只需几秒参考音频就能克隆音色并跨语种合成,兼顾可控性与推理效率。
无需分词器的多语言语音合成模型,支持创意音色设计和逼真声音克隆,可直接从文本生成自然语音。
跨平台 shell 提示符渲染器,支持 bash、PowerShell、fish 等,用 Go 编写,延迟低且高度可定制,能显示 Git 状态和 Nerd Fonts 图标。
面向用户和 AI Agent 的实时分析数据库,支持低延迟 SQL 查询和向量检索,可从 Kafka 实时摄入数据做 OLAP 分析。
面向 AI Agent 的实时分析与混合检索数据库,兼容 Iceberg、Hudi、Delta Lake 等湖仓格式,让 Agent 能低延迟查询海量数据。
面向云端和数据中心的高性能推理服务端,支持多种深度学习框架模型部署,并可在边缘设备上运行。
跨平台 libretro API 前端,统一管理和运行各类模拟器核心,提供图形界面、手柄映射、存档与着色器等一站式复古游戏体验。
给 LLM 推理加速的 KV Cache 层,可对接 vLLM 等框架,复用和缓存键值对来降低显存占用、提升吞吐,支持 CUDA 和 ROCm。
一个用 Go 写的 TCP 代理,能模拟延迟、断连、带宽限制等网络和系统故障,用来做混沌工程和容错测试。
基于 C++11 的流媒体服务器与客户端框架,一套代码同时支持 RTSP、RTMP、WebRTC、HLS、HTTP-FLV、GB28181、SRT 等协议,适合搭建直播和安防视频接入服务。
Facebook AI 开源的端到端语音识别训练工具包,用 C++ 实现,可基于 wav2letter 架构训练声学模型,省去传统 ASR 繁琐的特征工程流程。
100 行代码的极简 LLM 框架,用图编排 Agent 工作流,让 Agent 自己搭建 Agent,适合想快速上手又不想被重型框架绑住的场景。
本地跑实时语音转文字,带流式识别、说话人分离和翻译,还兼容 OpenAI/Deepgram 接口,适合自建低延迟转写服务。
多语种语音理解模型,一次推理就能完成中英日韩粤语音识别、语种判别、情绪识别和音频事件检测,适合做语音交互与音频分析。
面向 FPV 穿越机和遥控模型的 LoRa 开源无线电链路固件,基于 ESP32/ESP8266 实现低延迟、远距离的遥控信号传输。
Self-hosted game stream host for Moonlight.
老牌开源 OCR 引擎,用 LSTM 识别图片中的文字,支持上百种语言,适合做文档扫描和文本提取。
面向 Kimi、GLM、DeepSeek、Qwen 等开放权重模型的编码 Agent,用 Rust 实现,让这些模型也能在终端里自主写代码、执行任务。
面向大语言模型的高吞吐、低显存推理与服务引擎,通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用,适合部署在线推理服务。
DeepSeek 开源的 Agent 编排框架,把模型、工具、记忆等所有能力都做成可插拔插件,方便按需拼装和扩展智能体。
用多个 LLM 智能体分工协作模拟金融交易决策,把研究、分析、下单等环节拆给不同角色,适合做量化交易策略的智能体实验。
高性能大模型与多模态模型推理服务框架,通过优化注意力机制和调度策略提升吞吐与延迟表现,支持 Llama、DeepSeek、MoE 等主流模型部署。
用 Rust 写的跨平台 GPU 加速终端模拟器,基于 OpenGL 渲染,主打高帧率和低延迟,适合嫌普通终端卡顿、想要更顺滑操作体验的开发者。
…asyTier/EasyTier/pull/2479) 主要修复与改进 - 连接与路由稳定性 :修复低延迟优先路由、非对称直连恢复、IPv6 多公网地址打洞、OSPF 元数据过期后的同步,以及接收限速时的存活探测;TCP 打洞连接使用每秒心跳维持连接。[ 2358](https://github.com/EasyTier/EasyTier
…RM GEMM 增加 m == 1 优化,覆盖 batch=1、decode、单 token 推理等低延迟场景。( 6723) - 修复 Windows ARM 构建问题,并重构 ARM bf16 逻辑以绕过 OHOS clang aarch64 crash。( 6699, 6725) - ARM ShuffleChannel 最后通道处
…29 支持W4AFp8 MoE权重离线permute和加载 5613 支持W4AFp8 DeepEP低延迟两阶段模式 5608 图优化 PaddleOCR-VL ViT部分使用CINN优化 5223 封装deep gemm和triton为python op 5673 为per token quant等算子添加infershape和dtyp
…GPU的情况下,实现类GPT-4o的对话效果,适用于各种边缘设备和低资源环境。 🚀 流畅对话体验:低延迟、不卡顿,几乎像真人对话一样自然,百聆使用了多个开源模型,确保高效、可靠的语音对话体验。 🖥 轻量级部署:无需高端硬件,甚至不需要 GPU,通过优化,可本地部署,仍能提供类GPT-4的性能表现。 🔧 模块化设计:ASR、VAD、L