Согласно исследованиям, система распознавания речи Whisper от OpenAI иногда проявляет галлюцинации, то есть склонна к выдумыванию фактов. Инженеры, разработчики и ученые выразили серьезные опасения по поводу того, что эта особенность ИИ-алгоритма может причинить реальный вред, так как Whisper уже применяется, в том числе, в медицинских учреждениях.
Источник изображения: Growtika / unsplash.com
Обсуждение склонности генеративных нейросетей к выдумыванию фактов при ответах на запросы пользователей ведется уже давно. Однако удивительно видеть эту особенность у алгоритма Whisper, который предназначен для распознавания речи. Исследователи обнаружили, что алгоритм может включать в генерируемый текст все, начиная от расистских комментариев и заканчивая вымышленными медицинскими процедурами. Это может причинить реальный вред, так как Whisper начали использовать в больницах и других медицинских учреждениях.
Исследователь из Университета Мичигана, который изучал расшифровку публичных собраний, созданных Whisper, выявил неточности в транскрибировании 8 из 10 аудиозаписей. Другой исследователь проанализировал более 100 часов аудиозаписей, расшифрованных Whisper, и нашел неточности более чем в половине из них. Еще один инженер отметил, что обнаружил недостоверности почти во всех 26 тысячах расшифровок, выполненных с помощью Whisper.
Представитель OpenAI сообщил, что компания постоянно работает над улучшением качества своих нейросетей, включая снижение числа галлюцинаций. Он также добавил, что политика компании запрещает использование Whisper «в определенных контекстах принятия решений высокой важности». «Мы благодарим исследователей за то, что они поделились своими результатами», — отметил представитель OpenAI.