研究进展1 分钟读完Hacker News
研究者发现Qwen3-8B单个神经元可触发多重人格切换
速览
一项研究展示了Qwen3-8B模型中单个神经元的激活能改变模型回答身份的方式,产生数十种人格。研究涉及88万多个神经元方向对,生成近190万条回复。这意味着大模型内部机制比想象中更敏感,对AI安全和调试有启示。
研究者构建了一个可视化图谱,将Qwen3-8B全部36层、共12,288个MLP神经元逐一激活并观察对话回复变化。实验使用固定提示“你是谁?”(关闭思考模式),通过调整残差流方向强度,共测试了884,736个神经元–方向组合,生成189万条回复(含重试)。
每条回复由Claude Haiku 5.5自动分类和打分,定义了34,220个人格标签和35,074条离题回复,其中8,827条被评定为异常等级6以上。研究者允许调整激活强度(1.25倍到0.5倍),并在回复不连贯时自动降级重试,保证结果可读性。
模型对同一神经元的激活并非完全稳定:在强激活下约三分之一的回复会因批次改变而变化,但580个清晰人格中536个在三种批次布局下能复现。研究者也声明标签未经人工核实,且该结果仅针对单一提示词,其他提示下效果可能不同。
原文Qwen has alter egos triggered by flipping a single neuronqwen-neurons-site.vercel.app
#Qwen#可解释性#开源模型
本文由程序自动抓取公开报道,经 AI 筛选与改写生成,未经人工逐条核实,事实以原文为准。