中文 LLaMA-2 与 Alpaca-2 大模型二期项目，提供支持 64K 超长上下文的中文预训练和指令微调模型，可直接用于长文本理解与对话。
给 LLM 推理加速的 KV Cache 层，可对接 vLLM 等框架，复用和缓存键值对来降低显存占用、提升吞吐，支持 CUDA 和 ROCm。
Mooncake 是支撑 Kimi 大模型服务的推理平台，通过 KVCache 分离式架构和 RDMA 高速传输，把预填充与解码拆开部署，提升长上下文场景下的吞吐和资源利用率。
面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。
OpenCompass 是一个大模型评测平台，支持 OpenAI、Qwen、DeepSeek 等主流模型，覆盖知识、推理、代码、长上下文等 100+ 数据集，帮你系统化地跑分对比。
快速且省显存的精确注意力实现，支持训练和推理，能显著加速 Transformer 长序列计算。
开源 AI 编码代理，专为大型项目和真实开发任务设计，能在命令行里理解代码库并自动完成多文件改动。
多智能体框架，让多个大模型智能体通过角色扮演和对话自主协作，用于研究智能体规模化规律并构建协作式 AI 系统。
统一接入 375 家模型供应商、1400+ 模型的 MIT 协议 AI 网关，配额感知自动降级，并用压缩省下 15-95% token，兼容 Claude Code、Cursor 等编码工具。
终端里直接跑的免费编码 Agent，自动接入当前最强的免费模型，可替代 Claude Code 做日常写码和任务编排。
RWKV 是一种兼具 RNN 与 Transformer 优势的语言模型架构，支持像 GPT 一样并行训练，推理时线性时间、常量显存、无限上下文，无需 KV 缓存。
在 Mac 上基于 Apple Silicon 用 MLX 跑视觉语言模型的推理与微调工具包，支持 LLaVA、Pixtral、Florence2 等多种 VLM，本地即可完成多模态任务。
…入；悬停卡片与锚点聚合反链让知识网络真正可用。新增任务看板、文件树排序、状态栏章节指示；AI 支持超长上下文自动取舍与截断续写，并修复 macOS 中文输入换行错位问题。 ✨ 新增功能 - 块级双链 — 链接可以精确到段落： [[笔记 标题]] 引用章节、 [[笔记 ^块ID]] 引用任意段落，输入 [[ 时自动列出可引用的标题与段落；C
… 1778）：成员的请求超过供应商上下文上限时，会先压缩再重试一次，不再卡死在每条消息都重放同一份超长上下文；成员对话支持 / 命令（ /clear 、 /reset 、 /new 、 /model 除外）、显示上下文用量并可切换模型。停止后的团队可以直接结束，不再唤醒成员，也不用手动删团队目录。长历史下的沟通面板只挂载最新的 40 条消
…ntent Stage 1 三语加入 GPT-6.1 Terra 的 API 型号、国际价格、缓存与长上下文计费条件，说明工具支持及使用限制。选模型的简短入口保持展开；完整型号与价格留在折叠详表。 [來源 1](https://github.com/WenyuChiou/awesome-agentic-ai-zh/pull/341) -
…动续聊、实时渲染等多处稳定性问题 优化 - 对话历史和工具调用链路做了统一整理，复杂对话、工具调用和长上下文续聊场景更稳定 - 本地模型的工具调用链路继续打磨，Llama 和 MNN 的行为更加一致 - 消息现在可以记录更完整的模型、token 和耗时信息，单条消息详情更容易查看 - 插件扩展能力继续完善，第三方功能更容易接入，也更容易拿
…ese Mixtral](https://arxiv.org/abs/2403.01851) 🚄 长上下文长度由二代4K扩展至8K - Llama-3将原生上下文窗口长度从4K提升至8K，能够进一步处理更长的上下文信息 - 用户也可通过PI、NTK、YaRN等方法对模型进行长上下文的扩展，以支持更长文本的处理 ⚡ 使用分组查询注意力机制
本次更新推出长上下文版模型Chinese-LLaMA-2-7B-64K和Chinese-Alpaca-2-7B-64K，可直接应用于各类长文本下游任务。推出人类偏好对齐版模型Chinese-Alpaca-2-1.3B-RLHF和Chinese-Alpaca-2-7B-RLHF，大幅提升正确价值观表达能力。 🚀 Chinese-LLaMA