产品动态2 分钟读完Hacker News
Hightouch 测试发现 Jev+Opus 混合模型以四分之一成本达到前沿准确率
速览
Hightouch 测试了 Jev 和 Luna 两个决策模型在身份解析评分任务中的表现,发现两者单独使用时准确率在 88.8% 到 97.3% 之间。结合 Jev 和 Opus 的混合模型达到了前沿准确率,但成本降低了四倍以上。这意味着开发者可以用更低的成本获得接近顶尖模型的评分能力。
Hightouch 在测试中发现,决策模型(如 Jev 和 Luna)与前沿模型(如 Opus)在身份解析评分任务上各有优劣。决策模型的成本仅为前沿模型的九十分之一,速度快十倍以上,每千条身份记录的处理成本在 0.05 到 0.10 美元之间,响应时间约 0.15 秒,但在困难基准上准确率落后 Opus 约六个百分点。
值得注意的是,Jev 的置信度校准优于 Luna。Jev 的大部分错误出现在低置信度情况下,而 Luna 的错误则多发生在高置信度时,这使得 Jev 在混合模型框架中表现更佳。在困难案例中,Luna 与 Jev 的准确率差距也消失了。
身份解析(IDR)是将数据记录映射到真实个人的过程,对客户洞察和个性化至关重要。但这一任务在实践中困难重重:数据中常出现拼写错误、字符误读、昵称等问题。最常见的错误是过度合并,即一个身份对应多个真实个人。由于真实数据缺乏标准答案,团队往往需花费数月时间人工抽检(约每小时 50 个身份)来评估算法性能,而 LLM 可以并行处理大量样本,加速这一过程。
原文A Jev that can ask Opus for help gives Opus accuracy at 4x lower costhightouch.com
#模型路由#成本优化#Hightouch
本文由程序自动抓取公开报道,经 AI 筛选与改写生成,未经人工逐条核实,事实以原文为准。