LLM 在生成 long CoT 方面展现出惊人的能力，例如 o1 已能生成长度高达 100K tokens 的序列。然而，这也给 KV cache 的存储带来了严峻挑战。为应对这一难题，“hybrid model” 成为了一条备受关注的可行路径：它在标准 transformer 的部分层中引入更高效的注意力机制（如 RNN 或 sliding window attention），以替代原有的注意力层。近期的研究（如 minimax-01、gemma2 等）已经充分验证了这种混合模型的有效性，但目前依然需要从头训练，爱发体育注册尚未出现可以直接轻量级迁移已经训练好的 dense transformer 模型到 hybrid model 的方案。

　　我们的主要实验对象是 o1 类的长 CoT 生成模型。由于 QwQ 并未公开其训练数据，我们遵循 STILL [2] 的方案，使用与其完全相同的训练设置（包括数据集、训练参数以及以 Qwen2.5-32B-Instruct 作为起点），唯一的差别在于，我们将 50% 的层换成 streaming attention。这样就能在推理阶段显著缩减近一半的 KV cache。

　　对于另外一种更为主流的长上下文理解（long context understanding）任务而言，输入文本本身就非常冗长，因此在测试阶段可以对模型进行即时（on-the-fly）转换。

　　基于这一点，我们提出了 LightTransfer-Test，使得模型在推理环节仅依赖 prefilling 的结果就能完成识别和转换。然而，在实际操作中，我们也面临了两个问题：

　　当前，Flash Attention 已成为标配，但它并不会显式计算并存储注意力权重 (attention weights)；因此，如果我们想要获得用于衡量 lazy ratio 的注意力信息，就必须重新计算注意力权重，这会带来不可忽视的额外开销。

　　解决方案：为避免重复计算，我们借鉴了 online softmax 的思路，利用 Flash Attention 在计算过程中生成的 LSE（log-sum-exp）作为 lazy ratio 的分母。更值得注意的是，我们惊喜地发现分子的计算复杂度仅为 O (1)，而若重新计算则需要 O (seq_len)，因此这种方法有效地避免了大规模的重复开销。具体算法如下：

　　若等到 prefilling 结束后才根据各层的 lazy ratio 进行识别和转换，爱发体育注册那么整个 prefilling 阶段所需的内存峰值并没有减少。

　　解决方案：为了解决这个问题，我们设计了一种基于优先队列的策略，保证在 prefilling 阶段，所需的内存峰值不会超过设定阈值（即 50% 的 full KV + 50% 的 streaming KV）。具体地说，我们维护一个以 lazy ratio 为优先级的队列：在 prefilling 过程中，一旦队列中排队的层数超出预先设定的阈值（例如 50% 的网络层），我们会从队列中移除 lazy ratio 最高的层，并将其 KV cache 切换为 streaming 版本。这样就无需像 SqueezeAttention [3] 那样等到 prefilling 完成后才压缩 KV cache，从而有效避免了 prefilling 阶段峰值内存居高不下的问题。LightTransfer 具体做法如下图：

　　“孩子……别哭。”老人用粗糙的手掌摩挲他苍白的小脸，浑浊的老眼中淌下泪水，很是不舍。

　　请老师们放心，今后，我们一定牢记恩师们的谆谆教诲，牢记“守正出新”的校训，恪守道德、学问、处世、行事之正，爱发体育注册运用我们所掌握的专业技能，勤于实践、踏实做事，一步一个脚印书写我们与众不同的人生。为母校争光添彩，用我们的努力和成功来回报社会，回报母校。最后，请允许我再次代表全体毕业生，祝愿老师们身体安康、工作顺心、万事如意，祝愿我们的母校兴旺发达，再创辉煌！谢谢各位！

　　时事2：金宝慱亚洲体育网址03月08日,超600家展商亮相、寻求合作，在第二届链博会上——跨国公司纷纷“找链接”,

　　03月08日,东莞市第十七届人民代表大会第四次会议开幕 今年GDP预期增长5%！,

　　,纬来体育官网登录,BSports是什么平台,易博体育是线：谁有九卅登录入口啊

　　03月08日,外媒及研究机构：消费升级向“新” 2024中国经济复苏动力增强,那是一个人的说话声，恐怖无比，震动了成片的宫殿，如九天上的惊雷在此炸响。,美高梅有多少网址,线新利在线日,最大黑马挺进决赛 斯诺克世锦赛首演“90后”争冠,首先，抓好基础工作，垒筑坚实地基。,j92019九游会,英国立博官网,黄冠网站多少。

　　时事4：bet在线日,广东省残疾预防行动计划（2022-2025年）中期评估报告发布,

　　一、分析现状，增添信心,新濠天地投注登录,BETVLCTOR伟德是做什么的,乐投体育APP。

　　【喀什论道澳大利亚联邦人文科学院院士马克林：新疆正在经历另一个伟大的繁荣时刻】