PODCAST · 晚点聊 LateTalk

2024 年 6 月节目

3 期 · 1 期带分节

  • 06-3073: 垂类电商是伪命题？我做了个泰国最大的美妆电商平台
  • 06-1772: “听完一百位设计师的抱怨后，我找到了用AI帮他们提效的办法” ，与 Motiff 聊 AIGC 细分机会
  • 06-1171: “如果相信只靠 Scaling Laws 就能实现 AGI，你该改行了”，与香港大学马毅聊智能
    1. 02:49工业界更关注现有方法提效，而白盒模型刚提出时的工程验证有限。
    2. 05:08现在的大模型是通过经验找到了一些有效的方法，但它引起的量变不是真正的智能。
    3. 08:29现有方法其实只模拟了记忆的局部功能，资源消耗大GPT 类模型仍“高分低能”。
    4. 13:26当整个community 都认可一两件事，可能忽略掉其他可能更重要的事，曾经的深度学习就是一个例子。
    5. 15:45如果你作为年轻人，相信只靠 Scaling Laws 就可以实现 AGI，你可以转行了。(这部分提及的文章是附录里的 wide eyes shut）
    6. 18:44因为研究不要怕特立独行：当年在微软亚研院招何恺明等员工，都会让大家想：你做的哪些事别人做不了？
    7. 21:192017 年回到伯克利后，开始梳理已有成果：现有深度网络都是在做“压缩”（compression)。
    8. 23:18白盒大模型是给这个压缩过程找到数学解释。
    9. 24:52科学史上的好想法总会被翻新。
    10. 26:11知道了压缩到数学原理，能帮助找到更高效的压缩方式。
    11. 26:50Everything should be made as simple as possible, but not any simpler.前半句对应简约，后半句
    12. 29:39为什么智能会出现？——世界上有值得学、能学到的规律。
    13. 32:47知识不等于智能，GPT-4 有更多知识，婴儿更智能。智能的本质特则会给你是能纠正现存知识的不足并增加新的知识。
    14. 37:13达到智能，除了从黑盒到白盒，还有从开环到闭环，从人工到自主。
    15. 40:48自主学习的含义之一是，人的学习是在大脑内部建模完成的，不需要真去对比外部物理信号，生物没有这个选项。
    16. 46:17跨学科研究和借鉴神经科学帮助形成了上述想法。
    17. 48:41ReduNet 是一个框架，但工程实现还不够；CRATE 做了工程优化。
    18. 55:32历史上任何有用的黑盒都可能变成巫术。
    19. 57:03有人说 AI 是原子弹，我们看很可笑。
    20. 57:33政府应该监管技术的应用，而不是技术本身。
    21. 59:07从去年开始，更迫切感到要让更多人知道现在的 AI 在作什么，AI 没这么可怕。
    22. 60:16白盒更实际的作用：减少试错成本、GPU 成本。
    23. 01:05:04为何机器智能的结构会类似生物智能？——尚未看到更高效地方法。
    24. 01:07:13从维纳的《控制论》开始，第一批研究智能的选择并没有区分机器与生物。
    25. 01:09:58闭环系统的好处，解决“灾难性以往”问题。
    26. 01:13:13对（人工）智能的研究并非始于1956年。
    27. 01:15:26深度网络的两次危机都与缺乏数学解释有关，但现在可能不会再发生。
    28. 01:17:23从生物学和神经科学中学习，猴子大脑机制与智能研究发现的相似性。
    29. 01:20:36真正的智能应具备自主学习和自我纠错的能力。
    30. 01:24:14学校做验证，公司做放大，希望证明白盒路线的可行。
    31. 01:29:09要么有量变，用白盒显著降低训练资源or提升训练效率；要么有质变，探索闭环、自主的可能性。
    32. 01:38:53业界其他的非主流路线探索：LeCun 的 JEPA，李飞飞新创业等。
    33. 01:41:21港大正在推动 AI literacy 课程，所有专业都学，AI 应成为通识教育的一部分。
    34. 01:48:39达特茅斯会议为什么在智能前面加上 artificial？——也是追求和前辈不一样，想探索人类高级智能。
    35. 01:52:20科学竞争最关键的就是人，重要的是把资源分配给正确的人。