在 LLaMA/Alpaca 基础上扩充中文词表并做中文增量预训练,提供可本地 CPU/GPU 部署的中文大模型及 LoRA 微调、量化方案。
面向稠密向量的高效相似度检索与聚类库,支持十亿级向量近邻搜索,是构建向量数据库和 RAG 检索层的底层引擎。
单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案,通过逐层加载权重把显存需求压到极低,适合本地低配设备部署大模型。
一套统一接口搞定 100+ 大语言模型和多模态模型的微调,支持 LoRA 等高效训练方式,省去为每个模型单独写训练脚本的麻烦。
面向 MoE 模型的高效专家并行通信库,专门优化 GPU 间 all-to-all 分发与合并,降低大规模稀疏模型训练和推理的通信开销。
用 GRPO 强化学习给多步 Agent 做在线训练,让 Qwen、Llama 等模型在真实任务里边干边学,提升实际表现。
用 Python 重写的 Claude Code 编程智能体,主打 token 高效,310K 行代码实现完整功能,适合想研究或二次开发 AI 编码代理的团队。
企业级 AI 资源纳管平台,用统一网关接入 OpenAI、Claude、DeepSeek 等主流模型,做 Token 调度、成本归因和安全审计,帮企业管住 AI 开销、算清 ROI。
统一的多模态大模型,能高效理解图像、高分辨率图像和视频,用极少的视觉 token 完成多模态推理,适合显存和算力受限的场景。
汇总 token 级模型压缩相关论文与资源,涵盖 token 剪枝、合并等加速方法,方便快速查找视觉与深度学习模型压缩方向的研究资料。
…weekly component versions Package Version --- --- tokenspeed-mla [0.2.16](https://pypi.org/project/tokenspeed-mla/0.2.16/) tokenspeed-scheduler [0.1.25](https://pypi.org/
…@musicinmybrain in https://github.com/huggingface/tokenizers/pull/2050 Ci test fixes by @sebpop in https://github.com/huggingface/tokenizers/pull/2079 Avoid full vocab cl
…metadata preservation, Codex image capability and token renewal, DeepSeek V4 Pro Responses routing, durable background Responses execution, Anthropic bearer authenticatio
…Cat by @zhyncs in https://github.com/lightseekorg/tokenspeed/pull/1 Update README by @lightseek-bot in https://github.com/lightseekorg/tokenspeed/pull/2 Add PyTorch index
What's Changed chore: Daily token price update (23-05-2025) by @github-actions in https://github.com/AgentOps-AI/tokencost/pull/130 chore: Daily token price update (24-05
What's Changed chore: Daily token price update (12-05-2025) by @github-actions in https://github.com/AgentOps-AI/tokencost/pull/118 Add support for cached tokens in the c