PODCAST · 晚点聊 LateTalk

2024 年 9 月节目

4 期 · 2 期带分节

  • 09-2682: 人活着有啥意思
  • 09-1881: 游戏怎么变成了生活？游戏社区发展史
  • 09-1680: OpenAI o1 来了！与硅流袁进辉聊 o1 新范式和开发者生态
    1. 02:56o1 发布，兑现了之前已被逐步释放的高预期
    2. 03:57模型三重能力：语言、常识、推理，前两者之前已做得比较好，o1 提升了第三点
    3. 05:25“弱智吧”是大模型试金石？
    4. 06:35同样使用强化学习，AlphaGeometry 关注度为何没有 o1 高？——强化学习本身不新了，Alpha 家族的 Wow 时刻已经发生，o1 的进展是打破了大
    5. 10:28o1 新方法：强化学习、思维链、test-time compute
    6. 11:06强化学习和思维链，都是在解决数据问题
    7. 11:34强化学习可以补充专业数据，它更适合规则清晰、反馈清晰的领域
    8. 16:50思维链（chain of thought）是在补充抽象层次较高的宏观数据
    9. 23:09强化学习和思维链可以正交，比如可以通过强化学习也生成一系诶思维链分步骤数据
    10. 25:07列出思维链：最初是人写，现在可能是用规则，更优雅是靠模型
    11. 29:19test-time compute，这不是直接补充数据缺陷，而是原本做一次的推理（inference）变成做 N 次，就像人的“深思琢磨”
    12. 31:18强化学习、思维链、放更多资源给推理，每一个单独看都不是石破天惊的 idea，但 OpenAI 做了很好的组合
    13. 34:36“2022 年以来大模型领域最重要的一张图”，揭示 inference scaling law
    14. 36:49o1 新范式意味着需要更多 GPU 吗？对英伟达的影响？
    15. 38:51猜想，预训练和强化学习的具体结合方式
    16. 40:56算力需求也和参数规模相关，推理核心本身的参数可能不会特别大
    17. 43:32从 API 收费看，目前 o1 推理成本可能是 4o 的几十倍
    18. 47:05o1 最适合用在哪儿？Agent 可能能跑通了
    19. 48:45程序员是最适合的 Agent 吗？辅助程序员在 o1 前就在发生
    20. 50:13脑洞：o1 这类模型继续发展，能解决黎曼猜想吗？
    21. 54:28目前 o1 很慢，但有优化空间，一个技术应用的规律是：效果在早期更重要，之后缩短计算时间、降低计算成本几乎是确定性的
    22. 58:15为什么目前 API 调用对速率有限制，且不支持一些功能？
    23. 01:00:14当前可做的推理优化：并行部分思维链计算，减少不必要的思维链过程
    24. 01:04:20新变化也让一些工作可能没必要了，比如复杂的 prompt 工程
    25. 01:06:06o1 对中国的影响：总体不改变训基础模型的公司变少的趋势
    26. 01:10:48去年至今，GPU 算力价格已在下降，训练需求减少，推理需求增长暂时不会弥补，短时间 GPU 有冗余
    27. 01:13:13供给端有调整，但在技术应用端，“我没有感到变冷”
    28. 01:15:13更多个人开发者和小微企业做探索，更多其他行业来尝试，因为不需要完整 AI 班子了
    29. 01:18:33应用未冷却和 VC 市场觉得应用没爆发不矛盾，因为对 VC 还太小
    30. 01:19:52硅基流动推出云服务后增长很快。“如果每天和开发者打交道，不会觉得行业停滞或在变冷”
    31. 01:20:31一些增长快的产品例子，捏他
    32. 01:21:38云服务带来便捷的例子：Koji 十分钟写完 emoji AI 翻译器
    33. 01:24:20继续坚定出海，目前硅流海外客户更多
    34. 01:26:32硅流平台被调用最多的开源模型：通义、DeepSeek、Llama
    35. 01:27:39“需求在这边时，谁都来帮你的忙”
    36. 01:29:27硅流平台上的客户，每天调用数亿到 10 亿 token 的是有的
    37. 01:30:22叶军分享的钉钉 AI 付费的启发：用户现在为小功能付费，而不是复杂大应用
    38. 01:32:46从苹果手机可能是入口，到“巨头递减”
    39. 01:38:02我们看到大模型的“瓦特蒸汽机”了吗？
  • 09-1179: 大模型+SaaS 怎么做？与中国最早的 AI SaaS 产品经理聊聊十年经验
    1. 02:34去年讲技术节点，精确到几月几号；今年全行业重点变成讲落地
    2. 05:53AIGC 的价值是把人从机械工作中解放出来
    3. 07:17讯飞也在侧重消费者业务板块，但投放上不是烧钱拉新逻辑
    4. 13:21一批新公司主打免费，讯飞为何继续收费？
    5. 14:28语音转写的体验差异要看困难场景的表现：多语种混杂，多人对话
    6. 16:14从方言保护到语音技术的演变：过去需要语言学家，现在是技术驱动，未来可能需要对语言重新深入了解
    7. 20:10大模型本身不足以解决“鸡尾酒会场景”等语音难点，还要配合工程能力积累
    8. 20:57讯飞也在探索端到端语音技术
    9. 24:182010 年，讯飞第一次尝试消费者业务，做语音输入法
    10. 26:23讯飞听见的诞生：语音输入法使用短语音技术，想做投入更大的长语音，需要一边研发，一边赚钱
    11. 26:48AI 会带来失业吗？速记行业的“反讯飞联盟”的消失
    12. 29:11讯飞听见一开始就同时做 to B 和 to C
    13. 30:07to B 要适配国产操作系统，且要自己设计硬件工作站，方便企业私有化部署
    14. 32:50产品经验：软件+硬件+服务
    15. 34:08做 SaaS 一直要面临的抉择：更通用 or 更垂直（定制）？
    16. 36:43具体场景案例：讯飞怎么做深会展场景？
    17. 41:25为什么做 SaaS 也应该做硬件？
    18. 43:57离线版的升级需要派人去做本地服务，需要做好交付团队和生态
    19. 46:05AI SaaS 要追求 3 个成功：产品成功、市场成功、财务成功
    20. 52:39AI SaaS 出海数据法规最严的欧洲，合规经验
    21. 57:08未来一年，AI SaaS 的行业悬念——会不会有新商业模式