研究进展2 分钟读完MIT News · AI
MIT发布HardFlow算法,让生成式AI满足严格安全约束
速览
MIT研究人员开发出新算法HardFlow,帮助预训练生成式AI模型在部署时满足硬性安全约束,且无需重新训练。该算法在机器人、物理系统控制和计算机视觉实验中,始终满足约束条件并找到更优解。对开发者而言,这意味着无需改动模型即可用于高安全要求的场景。
MIT研究人员提出了一种名为HardFlow的新算法,旨在解决生成式AI在高风险场景中输出不可靠的问题。在机器人路径规划、物理系统控制等应用中,模型的答案必须严格遵守安全规则或物理定律,稍有偏差可能导致碰撞等事故。现有方法通常强制模型在生成过程的每个中间步骤都满足约束,但这限制了模型探索更优解的能力。
HardFlow的做法相反:它只对最终输出施加硬约束,而在生成过程中给予模型更多自由。研究人员将这一过程重新表述为轨迹优化问题,并借鉴最优控制理论,引导模型的采样轨迹逐步修正,最终得到既合规又高质量的解决方案。由于该技术无需重新训练模型,可直接应用于Stable Diffusion、FLUX等现有预训练模型。
在多项实验中,HardFlow一致地满足了所有硬约束,且找到的解决方案优于现有技术。论文作者之一Zeyang Li解释说,内部中间过程最终会被丢弃,因此只需保证最终输出可行。该方法已发表于IEEE Transactions on Pattern Analysis and Machine Intelligence。
原文New method enables AI for safety-critical situationsnews.mit.edu
#MIT#生成式AI#算法
本文由程序自动抓取公开报道,经 AI 筛选与改写生成,未经人工逐条核实,事实以原文为准。