风君子博客美联社近日的最新报道揭露了一个关于OpenAI的语音转写工具Whisper的重大缺陷。
据超过十位软件工程师、开发人员和学术研究人员透露，Whisper有时会生成大量虚假内容，这些内容被称为“AI幻觉”。这些幻觉内容可能包含种族歧视言论、暴力语言，甚至不实医疗建议。
Whispers的广泛应用和潜在风险
Whisper工具已被广泛应用于全球多个行业，包括翻译、访谈内容转录、生成消费科技文本和视频字幕制作等。这种广泛的应用使得Whisper的“幻觉”问题变得更加严重，因为它可能会在不经意间传播错误信息。
尤其是对于医疗机构来说，这一问题更为棘手。尽管OpenAI已经提醒用户不应在“高风险领域”使用Whisper，但一些医疗机构仍在急于采用基于Whisper的工具来记录医生与患者的咨询记录。
幻觉现象的普遍性
研究人员和工程师在工作中发现，Whisper的幻觉现象相当普遍。例如，密歇根大学的一位研究员在研究公共会议时发现，在尝试改进模型前，他所检查的十份音频转录中，有八份含有虚构内容。另一位机器学习工程师在分析超过100小时的Whisper转录时，发现大约一半的内容存在幻觉现象。
一位开发人员在其用Whisper生成的26000份转录中发现，几乎每一份都带有虚构内容。即便是音质良好的简短音频样本，也未能幸免于这些问题。计算机科学家们的研究表明，在审查的13000多段清晰音频片段中，有187段出现了幻觉现象。
OpenAI的回应
面对这一发现，OpenAI的发言人表示，公司正在持续研究如何减少幻觉，并感谢研究者的反馈。OpenAI承诺将在模型更新中采纳这些反馈，以改善Whisper的性能和可靠性。（Suky）