模型 · 2025 年 11 月首次出现 · 2 档 2 期

DeltaNet

怎么聊起来的

  1. 2025 年 11 月新

    线性注意力新改进，Qwen和Kimi下一代旗舰或将采用，实验对比多方案。2 期

哪些节目在讲

2 期 · 3 个片段

  • 143: 阿里、Kimi都在用的DeltaNet是什么？|与杨松琳聊线性注意力新改进

    晚点聊 LateTalk · 2025-11-30 · 87 分钟

    原站 ↗
    1. 04:21DeltaNet 的提出，用 Delta Rule 来增强 in-context retrieval
    2. 49:30回应 RWKV（原始智能）彭博：从未说发明 DeltaNet，一直在给 Schmidhuber 署名
    3. 58:48发现 Hoseholder 累乘和 DeltaNet 关联的过程

  • 119. Kimi Linear、Minimax M2？和杨松琳考古算法变种史，并预演未来架构改进方案

    张小珺Jùn｜商业访谈录 · 2025-11-03 · 103 分钟 · 整期相关

    原站 ↗

常一起被聊到