面向本地部署的高速大模型推理引擎，通过稀疏激活与量化等技术，让消费级显卡也能流畅跑起 Llama 类模型。

面向 MoE 模型的高效专家并行通信库，专门优化 GPU 间 all-to-all 分发与合并，降低大规模稀疏模型训练和推理的通信开销。

提供文本嵌入与重排模型，用于语义检索和 RAG 场景，把文档和查询转成向量并做相关性排序。

高性能大规模向量数据库与向量检索引擎，用 Rust 编写，支持 HNSW、混合检索和图像搜索，适合为 AI 应用和 RAG 提供相似度检索能力。