PODCAST · 硅谷101

2024 年 7 月节目

4 期 · 4 期带分节

  • 07-29E161｜聊聊大模型如何思考与深度学习科学家Yann LeCun
    1. 02:09白盒研究的目标：把AI从工程推向科学
    2. 02:53从早期模型到大语言模型，如何识别词汇的元意思
    3. 06:51OpenAI的研究：用gpt4理解gpt2模型
    4. 08:46白盒研究的本质是理解信号的结构，从而提升模型效率
    5. 11:37人脑如何通过少量数据获得泛化的能力
    6. 12:46比起人脑，大语言模型观测手段多，但它对世界的理解不够
    7. 20:11稀疏编码：源自大脑神经元的运作机制
    8. 22:01黑盒模型发展很快：只求工作，不求简洁
    9. 24:56白盒模型的问题：过度简洁
    10. 27:19Yann Lecun：支持白盒研究但不确定走得通
    11. 28:25基础AI研究靠好奇心驱动，而非商业化
    12. 30:16白盒模型的三个流派：可视化、神经科学、数学统计
    13. 32:30对黑盒模型的优化：提升效率、统一不同模型
    14. 33:44距离白盒gpt还很远，发展是阶段性的
    15. 35:29打开ImageNet是白盒的第一步
    16. 38:21Yann经历了神经网络领域历史上的高峰低谷
    17. 39:45加入Yann LeCun组是偶然
    18. 42:51Yann对大方向的坚持和直觉
    19. 43:02“不反对Scaling Law，但只堆数据是不够的”
    20. 49:10科学家马毅 & Yann，观点并不冲突：高层次的规律是简洁的
    21. 51:58从至暗时刻走出的AI科学家们：专注、纯粹
    22. 53:55Yann希望学生可以做与时间共存的工作
    23. 55:57“读PhD不应该研究LLM”
    24. 57:24Yann在Meta的贡献：筹建Meta AI、开源路线
    25. 60:29大模型未来的发展：Scaling Law依然重要，但提升效率也很重要
  • 07-24E160｜重新理解信息茧房：为何科学研究与我们主观感受相反？
    1. 02:31舆论界与科学界对信息茧房的理解完全相反
    2. 03:50信息茧房始于博客时代：友情链接隔离了共和党和民主党
    3. 06:15对搜索引擎的研究：只有不到10%的研究证实信息茧房存在
    4. 09:07担心完全找错了方向？美国五大媒体控制的信息时代
    5. 11:14根本原因：人喜欢离自己的同类更近
    6. 12:31从自行车到AlphaGo：新技术出现都会带来信息恐慌
    7. 16:20心理学中的“间歇性强化满足”：多样化信息更吸引人
    8. 19:42算法驱动的媒介消费时间在变长，人们视野反而变宽了
    9. 27:10Reddit十年数据跟踪：特朗普当选把社交媒体变得极化
    10. 30:23技术势能有多大：技术变迁改变的社会形态
    11. 36:00传播学者无法分辨假新闻，同样受困于信息过载
    12. 40:34社交媒体平台已经成为新的搜索引擎
    13. 42:28用互动反向驯化平台算法，警惕点燃情绪的内容
    14. 50:23辨识与筛选：比起真实性，很多人寻求的是观念的认同感
  • 07-20E159｜音乐节经济：不划算但停不下来
    1. 01:30去年参加Summer Sonic的体验：一天五万人，四五个舞台，好多人啊！
    2. 04:04音乐节的三个收入来源
    3. 05:57全球音乐节频频取消？赞助难、政策收紧、消费者预算少
    4. 10:58音乐节项目各自的生存方式：Clockenflap、草莓
    5. 13:12理想的场地如何选址？
    6. 16:41希望一个场地能用两三年，但是在国内很难
    7. 17:45「简单生活节」的选址：从世博公园到赛车场
    8. 19:56音乐节的经济账，艺人成本占一半
    9. 22:53遭遇艺人变更和“不可抗力”怎么办？
    10. 25:28街声创办生活节的初衷：不局限于音乐表演的音乐节
    11. 28:25压轴艺人是带动票房的重要因素？不同品牌不同，考虑受众最大化
    12. 30:41爱和年轻人一起玩的伍佰老师
    13. 34:06回应音乐节的现场安全
    14. 40:55大型城市的管理越来越严格，沙滩今年受限？
    15. 43:20本土品牌在音乐节上获得了成长
    16. 45:46有些演出只能在音乐节发生：刘若英和刘若男
    17. 48:42音乐节 vs 演唱会，哪个更难筹备和排练？
    18. 50:14准备一个音乐节，流程大概5-6个月
    19. 52:17在所有演出形式里，音乐节筹备复杂、利润又少，但有成就感
    20. 55:59线下演出是一桩投资者能看到消费者的生意
  • 07-09E158｜走访锈带：美国大选的反直觉认知与不被看见的人
    1. 03:21锈带之旅：关于美国大选的刻板印象与反直觉认知
    2. 04:33重新理解罗斯福新政：民主党的支持画像
    3. 10:54三种不同衰退的命运：伯利恒钢铁厂、九号煤矿与阿特拉斯水泥厂
    4. 18:05卡拉马祖火车站：从辉煌的物流中转中心到流浪汉中转站
    5. 21:30美国废墟与城市的坍塌：当上世纪科技之光在匹兹堡郊外躺了70年
    6. 23:53不被看见的Hood人群：工业离开后，难找到体面的工作
    7. 33:25无解的逆全球化：俄亥俄州只修大疆的维修店
    8. 36:55锈带的三类城市：正在衰落（巴尔的摩、日耳曼敦）、彻底衰落（嘉里）与复兴（伯利恒）
    9. 41:19厕所判断安全性：为何超市堆两米高的货物不让人上厕所？
    10. 44:08日耳曼敦：随着宗教发展，靠手工业和地理位置兴起的工商业小镇
    11. 48:30美国工业崛起：煤炭、石油与钢铁
    12. 51:55去工业化：劳资冲突、技术落后、决策重大失误
    13. 56:23大部分锈带工厂在关停的时候还在挣钱
    14. 58:20“这些人真的存在”