面向数据中心的分布式推理服务框架,用 Rust 编写,支持 vLLM、SGLang、TensorRT-LLM 等后端,解决大规模 LLM 与扩散模型在生产环境下的解耦部署和请求路由问题。
用 Rust 写的 AI Agent 开放运行时,统一托管多智能体、MCP 网关和权限管控,省去自己搭调度与安全层的麻烦。
一个高性能 AI 网关,用统一 API 把请求路由到 1600+ 大模型,并内置 50+ 安全护栏,省去多模型接入和内容风控的重复开发。
一款 Windows 平台的开源网络管理工具,集 IP 扫描、端口扫描、DNS 查询、Ping 监控、LLDP 以及 PuTTY、RDP、PowerShell 远程连接于一身,方便排查网络故障。
开箱即用的浏览器沙箱 API,让 AI Agent 和应用直接调用无头浏览器完成网页自动化,省去自建基础设施的麻烦。
…SOCKS5 自定义代理或直连;「检测系统代理」显示当前 API 地址实际走的规则,「测试连接」显示请求路由、耗时和 HTTP 状态。连接失败时报错会指向这里。详见 [README](https://github.com/ooboqoo/shiping 网络代理)。感谢 Epochex 贡献 ( 120) - 隐身模式可以关闭 :在「设置
… 更新总结 - 支持批量打开 Markdown、TXT 和 JSON 文档,完善多文件拖放与外部打开请求路由;单个文件打开失败不阻断后续文件,重新激活已有文件夹窗口时保留未保存内容与新建标签。 - 新增 ^上标^ 、 ~下标~ 语法与工具栏切换,保持解析、渲染、保存往返及 HTML、PDF、Word 导出一致。 - 优化行内公式插入,新增
…的 CPU-GPU 同步。 - 面向前缀缓存命中率优化 DP rank 和多 instance 间的请求路由。 - 利用多 kernel 联合 autotune 优化 triton MoE 实现。 - 通过为不同类型的 KV cache 设置不同 page size 优化 DeepSeek-V3.2 及类似模型。 - 优化前缀缓存的查询时