PODCAST · 硅谷101

2024 年 3 月节目

4 期 · 4 期带分节

  • 03-28E145 | 对话Meta田渊栋：被Transformer改变的世界与人类AGI的野心
    1. 00:053月31号晚七点罗永浩直播间卖云
    2. 01:34正片
    3. 02:55从自动驾驶、围棋开源项目到神经网络研究
    4. 05:52写科幻小说：不靠谱的想法放进小说，靠谱的想法用来做科研
    5. 07:24理解神经网络如何工作or 研究大模型，2019年为何拒绝Ilya Sutskever加入OpenAI的邀请
    6. 08:44最新两篇论文的艰难诞生：曾被两次拒稿，三四年后才看到结果
    7. 11:04GaLore的主要特点：实现在英伟达RTX 4090上进行模型的从头训练
    8. 12:56算法上改进让4090重获新生，省内存的同时获得高性能
    9. 16:56MobileLLM：降低神经网络参数仍然保持好的效果
    10. 17:40Scaling Law带来的增长会越来越小，我们并没有完全理解为什么Transfomer的效果更好
    11. 19:17完全无人驾驶难点：人工干预的频率越低，有效训练数据就越少
    12. 23:41Transformer很难做游戏式的推理：通过理解神经网络的工作原理来改进现有算法
    13. 24:52谷歌内部发现算力价格比通信便宜，所以想到要设计一个模型让算力获得更大优势
    14. 26:21Transfomer vs CNN：没有预设立场，并行效果更好
    15. 26:44Transformer的缺点：需要大量算力、速度较慢、延迟高
    16. 28:01强化学习的根本性问题：Exploration（探索）和Exploitation（开采）
    17. 30:03Sora的最让人惊艳的地方是所生成的内容一致性非常好，在技术上有根本的创新
    18. 33:07世界模型并不“高大上”，对未来有看法和预测都可以成为称为“世界模型”
    19. 40:46用合成数据训练大模型是趋势，其与真实数据之间的边界会越来越模糊
    20. 43:00合成数据相当于用算力来换数据，但缺乏人类参与的数据会导致学习瓶颈
    21. 44:30Anthropic的长文理解和分析能力远强过GPT-4，但推理能力难以分高下
    22. 46:30大模型缺乏竞争的话，也会出现“偷懒”的问题
    23. 48:06一家独大 or 威慑平衡，Meta开源打破的行业格局
    24. 48:18大模型侵蚀Google的核心业务，训练和推理很难发论文
    25. 50:20从玄幻小说到科幻小说：记录人与人之间的关系和思维的火花
  • 03-22E144｜与徐梧聊聊Vision Pro：十倍于移动互联网的机会爆发？
    1. 00:40观点：空间计算时代，将是移动互联网十倍的机会
    2. 02:05Vision Pro两次不同体验：从Vision实验室到家庭使用，更好的显示体验
    3. 05:39从垂直设备到通用设备：每天3-5个小时，但是并不知道在Vision Pro上做了什么
    4. 07:40为更大的屏幕付出溢价：大量平面应用空间升级之后的新体验
    5. 12:30VisionOS的空间操作系统，人机交互的三维革命性创新
    6. 14:30更加注重效率还是拟真？苹果对空间的三层定义
    7. 16:59Puzzling Places拼图游戏，为何在Quest放弃使用但在 Vision Pro上拼完了？
    8. 18:14同是VR会议软件的本质区别： Horizon workrooms vs Persona
    9. 21:19民间智慧如何让Vision Pro减重：移除面罩、使用3D打印配件、人体工程学
    10. 24:51手势交互：当使用手势交互之后很难再退回手柄
    11. 28:06核心吐槽：贵、重、没有内容
    12. 28:47空间应用部门正在快速增长，Vision Pro应用一个月从600快速增长到1200个
    13. 36:05恐龙Demo里的开发机会：能够与现实交互的全新的设计范式
    14. 38:05Vision Pro变成大众设备的六大临界点：三维交互、显示、操作系统、MR、重量、算力
    15. 44:17一个大胆的预测：三年后Vision Pro应用大爆发，创业的傻瓜窗口期消失
    16. 50:32谷歌Meta抱团，苹果与其他硅谷大厂的相爱相杀
    17. 53:50创始人的坚持与远见：内心深处有坚持，看明白了就去做
    18. 55:55投资方法论：投资优秀的产品经理，放下ego关注变量
    19. 59:58行业内认知最厉害的人：苹果、Meta、以及John Carmark、Michael Abrash、前十大排行榜开发者
  • 03-18E143｜亲历者讲述：神秘的长寿乌托邦与疯狂的生物极客运动
    1. 03:36Vitalia：一个以长寿和生物科技为主题的Pop-up City，信条是“让死亡变得有选择”
    2. 04:56洪都拉斯划定了一块名为Prospera的特区，拥有更灵活的监管和更创新的法律
    3. 06:07转基因人：接受Follistatin创新基因疗法的亚洲人，给身体进行“升级”
    4. 10:22Follistatin基因疗法：用Plasmid把新的基因加到人的身体里
    5. 11:32美国监管体系遇阻，Minicircle的双国运营方式
    6. 13:54基因疗法带火医疗旅游，目前大约有300个人到洪都拉斯接受该疗法
    7. 14:53Plasmid技术的争议：伦理性争议占60-70%，安全性争议占30-40%
    8. 16:58通过控制基因让“克隆”的老鼠其它方面正常生长，但大脑不发育
    9. 17:56克隆人的作用是让人在受了严重伤害或者衰老之后，把大脑移植到年轻的身体里
    10. 22:20一些Biohacker（生物极客）会在自己身体里做各种实验，比如将磁铁缝入手内
    11. 24:13延缓衰老的方法主要是通过对身体指标严格监控，其中血糖和饮食结构最为重要
    12. 28:35不同的饮食路径：一些人主张餐食要以素食为主，一些人只吃肉
    13. 32:40Bryan Johnson用换血疗法和严格饮食让自己延缓衰老，但极端做法受到争议
    14. 35:38有信仰、偏执的创业者才能生存
    15. 36:18一场人工制造出来的帅：Bryan Johnson像下一代人类，陶瓷娃娃一般的肌肉
    16. 39:21Bryan Johnson的宗旨是把抗衰运动作为一种信仰，从富人阶级开始再逐渐普及化
    17. 41:52替换身体、重新生长大脑、基因生发，疯狂的抗衰项目并不容易融资
    18. 45:28FDA固有运行机制反而让医药领域创新昂贵、官僚、缓慢？
    19. 47:26那些来到Vitalia的学术圈名人
    20. 50:35长寿研究的哲学思考：治愈疾病、减少医疗支出、推动生产力、提高文明发展上限等
    21. 53:38长寿技术目前面对跟AGI类似的争议，安全、伦理层面并没有得到充分验证
    22. 56:55当人真的获得了永生的权利、死亡变成一项选择的时候，价值的定义将变得困难
    23. 60:50Vitalia像一个三层金字塔：底层是社区，中层是研讨会，上层是孵化器
    24. 63:19众多硅谷大佬参与的MiniCircle投资与学术圈质疑
  • 03-08E142｜投资人视角下的脑机接口与不可忽视的xAI
    1. 00:03GenAI大会报名链接
    2. 01:29正片
    3. 02:282015年左右开始布局投资脑机接口领域，投资纳米医疗机器人公司Paradromics
    4. 03:29早期脑机接口的路线之争：从非侵入式到侵入式
    5. 04:25非侵入式的信号收集能力有限、持续性不强，路线18-19年向侵入式统一
    6. 06:30Paradromics的早期猪实验数据要比Neuralink更好，马斯克曾经尝试收购该公司
    7. 07:20脑机接口材料：纳米纤维起家
    8. 09:58验证设备封装的安全性，临床实验长达10-20年时间
    9. 12:47投资与应用周期长，激进做法可能会拖垮行业
    10. 14:45脑机接口的核心环节：CMOS信号翻译、芯片、信息接收处理系统
    11. 18:07Neuralink的核心优势是有充足的资金，能够支持招募优秀人才和进行不同路线尝试
    12. 20:15Paradromics聚焦在医疗叙事，但Neuralink有更多应用测试
    13. 24:40脑部数据的收集对于研究大脑运作和训练人工智能都具有重要意义
    14. 26:14人类潜意识的运算能力是意识的几十万倍，但人类对于这部分的认知还很浅
    15. 27:50人脑是效能最高、能耗最低的超级计算机器，医疗和AI的投资息息相关
    16. 30:30当Twitter、特斯拉、Nerualink都成为xAI的数据，200亿美元的估值值不值？
    17. 33:42脑机接口对产业带来的影响比想象的更大，但大规模落地应用仍然需要较长时间
    18. 34:55招聘进展更新