Что называют галлюцинацией
Галлюцинацией называют ответ модели, который звучит уверенно и правдоподобно, но не соответствует действительности. Это может быть несуществующая книга, неверная дата, выдуманная цитата или ссылка на закон, которого нет. Главная опасность не в самой ошибке, а в тоне: модель ошибается тем же спокойным голосом, каким сообщает верные факты.
Самый известный пример произошёл в 2023 году. В деле Mata v. Avianca юристы подали в федеральный суд Нью-Йорка документ с шестью судебными решениями, которых не существовало. Их сгенерировал ChatGPT, а на прямой вопрос юриста подтвердил, что дела реальны. Суд оштрафовал юристов и их фирму на 5 000 долларов. В 2024 году трибунал в Британской Колумбии в деле Moffatt v. Air Canada отклонил довод авиакомпании о том, что чат-бот на сайте сам отвечает за свои слова, и обязал её компенсировать клиенту ущерб от неверного ответа.
С тех пор похожие истории с выдуманными ссылками в судебных документах, по сообщениям СМИ, повторялись в разных странах. Вывод из них один: модель не несёт ответственности за текст, его несёт тот, кто текст подписал.
Почему модели выдумывают
Языковая модель обучена продолжать текст наиболее вероятным образом. У неё нет встроенной базы фактов, к которой она обращается перед ответом. Частые факты, вроде столицы Франции, закреплены в весах надёжно. Редкие факты, вроде даты рождения малоизвестного учёного, модель видела один-два раза или не видела вовсе, и тогда она достраивает правдоподобный ответ.
В сентябре 2025 года исследователи OpenAI опубликовали работу «Why Language Models Hallucinate». Их главный тезис: обучение и большинство тестов поощряют догадку. Если за ответ «не знаю» модель получает ноль баллов, а за случайную догадку иногда получает балл, то угадывать выгоднее. Авторы считают, что галлюцинации не неизбежны, ведь модель может воздерживаться от ответа, но для этого нужно перестроить основные метрики оценки.
Есть и бытовые причины. Модель плохо знает события после даты среза обучения. Она подстраивается под формулировку вопроса: если спросить «в каком году Х получил Нобелевскую премию», она охотнее назовёт год, чем возразит, что премии не было. Рассуждающие модели, о которых мы писали в разборе как работают reasoning-модели, ошибаются реже в задачах на логику, но и они не застрахованы от выдуманных фактов.
Где риск выше всего
| Тип запроса | Риск | Что делать |
|---|---|---|
| Ссылки, цитаты, DOI, номера законов | высокий | проверять каждую по первоисточнику |
| Точные цифры, даты, суммы | высокий | просить источник, сверять вручную |
| Редкие имена, биографии, малые компании | высокий | искать подтверждение вне модели |
| Свежие события | высокий без поиска | включать веб-поиск в ассистенте |
| Пересказ текста, который вы дали | ниже | выборочно сверять с оригиналом |
| Черновик письма, идеи, структура | низкий | обычная редактура |
Отдельная зона риска связана с медициной и правом, где ошибка стоит дорого. Подробнее о медицинских ассистентах мы писали в материале о безопасности медицинских чат-ботов.
Практика для пользователя
Большую часть риска снимают несколько привычек. Редакция использует их сама при работе с ассистентами.
- Давайте источник в контексте. Вставьте документ или ссылку и попросите отвечать только по нему. Задача пересказа заметно надёжнее задачи «вспомнить».
- Разрешите не знать. Добавьте в запрос фразу «если не уверен, так и скажи». Это не гарантия, но модель чаще признаёт пробел.
- Просите цитату, а не пересказ. Дословный фрагмент документа легко найти поиском по тексту. Пересказ проверить сложнее.
- Включайте поиск для свежих фактов. Ответ с источниками лучше ответа «из памяти», хотя и источник нужно открыть.
- Задавайте контрольный вопрос по-другому. Если на переформулировку модель отвечает иначе, факт ненадёжен.
- Не просите модель подтвердить саму себя. Случай Mata v. Avianca показывает: на вопрос «это правда?» она охотно ответит «да».
Для повторяющихся задач удобно закрепить такие правила в инструкциях проекта. Как это сделать, мы показывали в гайде по проектам и собственным GPT.
Признаки, что ответ стоит перепроверить
Галлюцинацию не всегда видно, но у неё есть типичные приметы. Редакция советует насторожиться, если в ответе встречается хотя бы одна из них.
- Слишком точные детали там, где их трудно знать: номер страницы, точная цитата, процент с десятыми долями без источника.
- Ссылка выглядит правдоподобно, но ведёт на несуществующую страницу или на материал о другом.
- Название книги, статьи или закона звучит как типовое сочетание слов из темы.
- Ответ меняется при повторном запросе или после вопроса «ты уверен?».
- Модель уверенно рассказывает о событии, которое произошло после даты её обучения, не пользуясь поиском.
Ни один из признаков не доказывает ошибку, а их отсутствие не доказывает правоту. Это повод потратить минуту на проверку по первоисточнику до того, как факт попадёт в отчёт, письмо клиенту или публикацию. Для команд разумно превратить эти признаки в короткий чек-лист для всех, кто работает с ИИ-черновиками.
Практика для команд
Когда ИИ встроен в процесс, привычек отдельного сотрудника мало. Нужны правила на уровне системы.
- Ответы по своим данным. Ассистент ищет фрагменты в базе знаний и отвечает только по ним, со ссылкой на документ. Если ничего не найдено, он говорит об этом прямо.
- Структурированный вывод. Поля с заранее заданным форматом и допустимыми значениями проще проверить автоматически, чем свободный текст.
- Автоматические проверки. Ссылки проверяются на существование, суммы сверяются с системой учёта, имена с базой клиентов.
- Человек на выходе. Всё, что уходит клиенту, в суд или в публикацию, читает ответственный сотрудник. Решение Air Canada напоминает: отвечает компания, а не бот.
- Набор проверки. Сотня реальных вопросов с эталонными ответами, которую прогоняют после каждой смены модели или промпта.
Важно договориться и о том, где ИИ не используют совсем. Для части задач цена ошибки выше, чем выигрыш во времени.
Что изменилось к ноябрю 2026 года
По заявлениям разработчиков, новые поколения моделей галлюцинируют реже предыдущих, а ассистенты чаще отвечают с источниками из веб-поиска. Работа OpenAI 2025 года сместила обсуждение от «загадочного сбоя» к понятной задаче: учить и оценивать модели так, чтобы честное «не знаю» не наказывалось. Однако единой независимой метрики, по которой можно сравнить все модели, на момент обновления нет, а цифры, которые публикуют сами компании, трудно сопоставить между собой.
Редакция считает, что относиться к ответу модели стоит как к черновику толкового, но рассеянного коллеги. Он экономит часы, но факты за ним нужно проверять. О том, как отличать реальный прогресс от громких заявлений, мы писали в посте о чтении новостей про ИИ без хайпа. Больше практических гайдов собрано в рубрике ChatGPT.
Вопросы и ответы
Можно ли полностью избавиться от галлюцинаций?
Нет. Ни одна модель на рынке не гарантирует отсутствия выдумок. Риск можно заметно снизить источниками в контексте, поиском и проверкой, но ответственность за итоговый текст остаётся на человеке.
Помогает ли веб-поиск в ChatGPT?
Для свежих событий и проверяемых фактов помогает: ответ опирается на найденные страницы и показывает ссылки. Но модель может неточно пересказать источник, поэтому важные факты стоит проверять, открыв ссылку.
Почему модель уверенно подтверждает неверный факт?
Она подстраивается под вопрос и продолжает диалог правдоподобно. Если в вопросе уже заложено ложное утверждение, модель часто принимает его как данность и достраивает детали, а не возражает.
Ошибаются ли рассуждающие модели реже?
В задачах на логику, математику и код обычно да. Но если нужного факта нет в данных обучения, длинное рассуждение не поможет его узнать, и модель может построить логичный ответ на выдуманной основе.



