面向大语言模型的高吞吐、低显存推理与服务引擎,通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用,适合部署在线推理服务。
把 Playwright 浏览器自动化能力封装成 MCP 服务器,让 AI Agent 通过结构化接口操控网页、抓取页面内容,无需依赖截图识别。
工业级零样本语音合成系统,只需几秒参考音频就能克隆音色并跨语种合成,兼顾可控性与推理效率。
用 LLM 自动生成 Git 提交信息,支持 Claude、GPT 和本地 Ollama 等多种模型,一秒出结果,省去手写 commit message 的麻烦。
中文 LLaMA-2 与 Alpaca-2 大模型二期项目,提供支持 64K 超长上下文的中文预训练和指令微调模型,可直接用于长文本理解与对话。
VisionZip 是 CVPR 2025 提出的视觉语言模型加速方案,通过压缩视觉 token 减少冗余计算,在保持多模态任务精度的同时显著提升推理效率。
SparseVLM 是 ICML'25 与 TPAMI'26 论文的官方实现,通过稀疏化视觉 token 来降低视觉语言模型的计算开销,提升多模态推理效率。
面向视觉 tokenizer 的球面量化方案,包含二值球面量化和 Leech 球面量化两种方法,用于压缩视觉 token 并提升表示效率。
面向机器人操作的自进化智能体训练方案,通过后训练和递归自我改进,在成功率提升14%的同时把 token 消耗降低65%。