自托管的网站与服务可用性监控面板,支持 HTTP、TCP、Ping 等多种探活方式,通过实时图表和告警通知掌握服务宕机情况。
用 YAML 文件定义多容器应用,一条命令就能把整套服务编排起来跑,省去逐个 docker run 的麻烦。
无守护进程的 OCI 容器与 Pod 管理工具,命令行体验兼容 Docker,适合在 Linux 上以 rootless 方式运行容器。
基于 Docker 的自托管 PaaS,用一条 git push 就能完成应用构建、部署和生命周期管理,适合想自己搭 Heroku 式平台的团队。
阿里云通义团队开源的多模态大模型系列,能同时理解图像和文本,用于视觉问答、图文推理等视觉语言任务。
高性能大规模向量数据库与向量检索引擎,用 Rust 编写,支持 HNSW、混合检索和图像搜索,适合为 AI 应用和 RAG 提供相似度检索能力。
基于 Python 的企业级 VPN 服务器,支持 OpenVPN 与 WireGuard 协议,提供 Web 管理界面和集中式用户认证,适合团队搭建自托管远程访问网络。
开源的入侵检测与防御系统,兼做 WAF 和机器人识别,靠社区共享的恶意 IP 黑名单帮你在 Linux、Windows、容器和 K8s 上自动封禁攻击源。
用 Go 语言调用 OpenCV 做计算机视觉的封装库,支持 DNN 推理、CUDA 加速、OpenVINO 和扩展模块,省去写 C++ 胶水代码的麻烦。
在 DGX Spark 上跑 Qwen3.5-122B-A10B 的 INT4 量化推理方案,靠 AutoRound 加 MTP 把吞吐从 28.3 提到 51 tok/s,显存吃紧的单机也能跑大模型。
…。 部署不再切断进行中的请求:新版本先起在空闲的 slot,旧 slot 排空后才停( 1169);单机部署新增异地数据库备份,看门狗只检查当前在服务的 slot( 1200)。 6. 租户与账号 系统租户的代理和 AI 账号可以共享给其他租户( 1157)。 预热只在调用方所在租户内进行,共享的平台账号不暴露归属( 1227)。 统计本
…INT8、4比特量化推理,MTP投机解码。 FP8推理,单机输出超1000 tokens/s;4比特单机部署,输出超2100 tokens/s! 首次协同推理团队,发布统一推理部署镜像,热门模型一键部署。推理部署使用文档全面更新,体验全面提升!见[文档](https://paddlenlp.readthedocs.io/zh/latest