Галлюцинации ИИ: снижаем рискОткуда берутся выдуманные факты и как с ними работать

Языковые модели иногда уверенно сообщают то, чего нет. Редакция разбирает, почему так происходит, и собирает практику, которая заметно снижает риск в повседневной работе.

ChatGPTОбновлено 12.11.20268 мин чтения
Галлюцинации ИИ: снижаем риск
▲ коротко: Галлюцинации ИИ: снижаем риск✓ Модель предсказывает правдоподобный текст, а не сверяется с базой фактов.✓ По данным OpenAI, обучение и оценки поощряют догадку вместо честного «не знаю».✓ Риск выше всего в цитатах, ссылках, цифрах, именах и редких фактах.✓ Помогают источники в контексте, право на «не знаю» и проверка человеком.
6несуществующих судебных решений в иске по делу Mata v. Avianca
5 000 $штраф юристам и их фирме по этому делу, июнь 2023
0моделей на рынке, которые полностью избавились от выдумок

Что называют галлюцинацией

Галлюцинацией называют ответ модели, который звучит уверенно и правдоподобно, но не соответствует действительности. Это может быть несуществующая книга, неверная дата, выдуманная цитата или ссылка на закон, которого нет. Главная опасность не в самой ошибке, а в тоне: модель ошибается тем же спокойным голосом, каким сообщает верные факты.

Самый известный пример произошёл в 2023 году. В деле Mata v. Avianca юристы подали в федеральный суд Нью-Йорка документ с шестью судебными решениями, которых не существовало. Их сгенерировал ChatGPT, а на прямой вопрос юриста подтвердил, что дела реальны. Суд оштрафовал юристов и их фирму на 5 000 долларов. В 2024 году трибунал в Британской Колумбии в деле Moffatt v. Air Canada отклонил довод авиакомпании о том, что чат-бот на сайте сам отвечает за свои слова, и обязал её компенсировать клиенту ущерб от неверного ответа.

С тех пор похожие истории с выдуманными ссылками в судебных документах, по сообщениям СМИ, повторялись в разных странах. Вывод из них один: модель не несёт ответственности за текст, его несёт тот, кто текст подписал.

Почему модели выдумывают

Языковая модель обучена продолжать текст наиболее вероятным образом. У неё нет встроенной базы фактов, к которой она обращается перед ответом. Частые факты, вроде столицы Франции, закреплены в весах надёжно. Редкие факты, вроде даты рождения малоизвестного учёного, модель видела один-два раза или не видела вовсе, и тогда она достраивает правдоподобный ответ.

В сентябре 2025 года исследователи OpenAI опубликовали работу «Why Language Models Hallucinate». Их главный тезис: обучение и большинство тестов поощряют догадку. Если за ответ «не знаю» модель получает ноль баллов, а за случайную догадку иногда получает балл, то угадывать выгоднее. Авторы считают, что галлюцинации не неизбежны, ведь модель может воздерживаться от ответа, но для этого нужно перестроить основные метрики оценки.

Есть и бытовые причины. Модель плохо знает события после даты среза обучения. Она подстраивается под формулировку вопроса: если спросить «в каком году Х получил Нобелевскую премию», она охотнее назовёт год, чем возразит, что премии не было. Рассуждающие модели, о которых мы писали в разборе как работают reasoning-модели, ошибаются реже в задачах на логику, но и они не застрахованы от выдуманных фактов.

▲ хроника✓ 2023-06 · суд в Нью-Йорке штрафует юристов за выдуманные дела✓ 2024-02 · трибунал обязывает Air Canada отвечать за слова чат-бота✓ 2025-09 · OpenAI публикует работу о причинах галлюцинаций✓ 2026-11 · галлюцинации снизились, но не исчезли ни у одной модели

Где риск выше всего

Тип запросаРискЧто делать
Ссылки, цитаты, DOI, номера законоввысокийпроверять каждую по первоисточнику
Точные цифры, даты, суммывысокийпросить источник, сверять вручную
Редкие имена, биографии, малые компаниивысокийискать подтверждение вне модели
Свежие событиявысокий без поискавключать веб-поиск в ассистенте
Пересказ текста, который вы далинижевыборочно сверять с оригиналом
Черновик письма, идеи, структуранизкийобычная редактура

Отдельная зона риска связана с медициной и правом, где ошибка стоит дорого. Подробнее о медицинских ассистентах мы писали в материале о безопасности медицинских чат-ботов.

Практика для пользователя

Большую часть риска снимают несколько привычек. Редакция использует их сама при работе с ассистентами.

  1. Давайте источник в контексте. Вставьте документ или ссылку и попросите отвечать только по нему. Задача пересказа заметно надёжнее задачи «вспомнить».
  2. Разрешите не знать. Добавьте в запрос фразу «если не уверен, так и скажи». Это не гарантия, но модель чаще признаёт пробел.
  3. Просите цитату, а не пересказ. Дословный фрагмент документа легко найти поиском по тексту. Пересказ проверить сложнее.
  4. Включайте поиск для свежих фактов. Ответ с источниками лучше ответа «из памяти», хотя и источник нужно открыть.
  5. Задавайте контрольный вопрос по-другому. Если на переформулировку модель отвечает иначе, факт ненадёжен.
  6. Не просите модель подтвердить саму себя. Случай Mata v. Avianca показывает: на вопрос «это правда?» она охотно ответит «да».

Для повторяющихся задач удобно закрепить такие правила в инструкциях проекта. Как это сделать, мы показывали в гайде по проектам и собственным GPT.

Признаки, что ответ стоит перепроверить

Галлюцинацию не всегда видно, но у неё есть типичные приметы. Редакция советует насторожиться, если в ответе встречается хотя бы одна из них.

  • Слишком точные детали там, где их трудно знать: номер страницы, точная цитата, процент с десятыми долями без источника.
  • Ссылка выглядит правдоподобно, но ведёт на несуществующую страницу или на материал о другом.
  • Название книги, статьи или закона звучит как типовое сочетание слов из темы.
  • Ответ меняется при повторном запросе или после вопроса «ты уверен?».
  • Модель уверенно рассказывает о событии, которое произошло после даты её обучения, не пользуясь поиском.

Ни один из признаков не доказывает ошибку, а их отсутствие не доказывает правоту. Это повод потратить минуту на проверку по первоисточнику до того, как факт попадёт в отчёт, письмо клиенту или публикацию. Для команд разумно превратить эти признаки в короткий чек-лист для всех, кто работает с ИИ-черновиками.

Практика для команд

Когда ИИ встроен в процесс, привычек отдельного сотрудника мало. Нужны правила на уровне системы.

  • Ответы по своим данным. Ассистент ищет фрагменты в базе знаний и отвечает только по ним, со ссылкой на документ. Если ничего не найдено, он говорит об этом прямо.
  • Структурированный вывод. Поля с заранее заданным форматом и допустимыми значениями проще проверить автоматически, чем свободный текст.
  • Автоматические проверки. Ссылки проверяются на существование, суммы сверяются с системой учёта, имена с базой клиентов.
  • Человек на выходе. Всё, что уходит клиенту, в суд или в публикацию, читает ответственный сотрудник. Решение Air Canada напоминает: отвечает компания, а не бот.
  • Набор проверки. Сотня реальных вопросов с эталонными ответами, которую прогоняют после каждой смены модели или промпта.

Важно договориться и о том, где ИИ не используют совсем. Для части задач цена ошибки выше, чем выигрыш во времени.

Что изменилось к ноябрю 2026 года

По заявлениям разработчиков, новые поколения моделей галлюцинируют реже предыдущих, а ассистенты чаще отвечают с источниками из веб-поиска. Работа OpenAI 2025 года сместила обсуждение от «загадочного сбоя» к понятной задаче: учить и оценивать модели так, чтобы честное «не знаю» не наказывалось. Однако единой независимой метрики, по которой можно сравнить все модели, на момент обновления нет, а цифры, которые публикуют сами компании, трудно сопоставить между собой.

Редакция считает, что относиться к ответу модели стоит как к черновику толкового, но рассеянного коллеги. Он экономит часы, но факты за ним нужно проверять. О том, как отличать реальный прогресс от громких заявлений, мы писали в посте о чтении новостей про ИИ без хайпа. Больше практических гайдов собрано в рубрике ChatGPT.

Вопросы и ответы

Можно ли полностью избавиться от галлюцинаций?

Нет. Ни одна модель на рынке не гарантирует отсутствия выдумок. Риск можно заметно снизить источниками в контексте, поиском и проверкой, но ответственность за итоговый текст остаётся на человеке.

Помогает ли веб-поиск в ChatGPT?

Для свежих событий и проверяемых фактов помогает: ответ опирается на найденные страницы и показывает ссылки. Но модель может неточно пересказать источник, поэтому важные факты стоит проверять, открыв ссылку.

Почему модель уверенно подтверждает неверный факт?

Она подстраивается под вопрос и продолжает диалог правдоподобно. Если в вопросе уже заложено ложное утверждение, модель часто принимает его как данность и достраивает детали, а не возражает.

Ошибаются ли рассуждающие модели реже?

В задачах на логику, математику и код обычно да. Но если нужного факта нет в данных обучения, длинное рассуждение не поможет его узнать, и модель может построить логичный ответ на выдуманной основе.

Ещё по теме

Следующая новость уже в ленте