Зачем вообще нужна синтетика
Большие языковые модели выросли на публичном интернете. Этот ресурс конечен. Исследователи из Epoch AI оценивали, что запас качественного публичного текста, написанного людьми, может быть полностью использован для обучения где-то между 2026 и 2032 годами. Параллельно сайты закрываются от краулеров, а судебные споры об авторском праве делают часть данных юридически рискованной.
Синтетические данные решают несколько задач сразу:
- Дефицит. Модель-учитель генерирует примеры там, где реальных мало: редкие языки, узкие домены, сложные задачи.
- Качество. Вместо шумного веб-текста можно получить чистые, структурированные объяснения в стиле учебника.
- Приватность. В медицине и финансах синтетические записи позволяют обучать и тестировать системы, не раскрывая данные реальных людей.
- Покрытие крайних случаев. Редкие сценарии, которые почти не встречаются в жизни, можно сгенерировать в нужном количестве.
Редакция подчёркивает: синтетика не «бесплатные данные». Её стоимость переходит из сбора в генерацию и, главное, в проверку.
Как это выглядит на практике
Самые известные примеры публично описаны в технических отчётах. Microsoft строит линейку малых моделей Phi на идее «данных уровня учебника». Для Phi-4 с 14 млрд параметров компания использовала около 50 синтетических наборов общим объёмом порядка 400 млрд токенов, и синтетика составила основную часть обучающих данных. NVIDIA в 2024 году выпустила семейство Nemotron-4 340B как открытый конвейер генерации: модель-инструктор создаёт примеры, а модель-оценщик отбирает лучшие. По данным компании, более 98% данных для дообучения собственной instruct-версии было синтетическим.
Второй массовый сценарий связан с дистилляцией. Крупная модель решает задачи с подробными рассуждениями, а меньшую обучают на этих решениях. Так DeepSeek в начале 2025 года перенесла способности R1 на компактные открытые модели. Об устройстве таких систем мы писали в материале о моделях-рассуждателях.
Третий сценарий особенно хорошо работает там, где ответ можно проверить автоматически. Модель генерирует код, тесты его прогоняют, в набор попадают только рабочие решения. С математикой то же самое: известный ответ отсекает ошибки. Синтетика с встроенной проверкой даёт самый надёжный прирост.
Коллапс модели: что показало исследование
В июле 2024 года в Nature вышла работа Ильи Шумайлова и соавторов из Оксфорда, Кембриджа и других университетов. Авторы показали: если обучать модель на данных, сгенерированных предыдущей моделью, а ту на данных её предшественницы, качество необратимо падает. Сначала исчезают «хвосты» распределения, редкие и необычные примеры. Затем ответы становятся однообразными и всё дальше уходят от реальности. Эффект воспроизвели не только на языковых моделях, но и на других генеративных архитектурах.
Механизм интуитивно понятен. Любая модель немного сглаживает данные, на которых обучена: частое становится чаще, редкое пропадает. При многократном пересэмплировании ошибки накапливаются, как при копировании копии на ксероксе.
Для отрасли риск конкретный. Доля машинного текста в интернете растёт, и следующие поколения моделей неизбежно встретят его в обучающих корпусах, даже если разработчики специально синтетику не добавляли.
Почему коллапс не приговор
Вскоре вышли работы, уточнившие условия эксперимента. Группа Маттиаса Герстграссера в 2024 году сравнила два режима. Если на каждом шаге реальные данные заменяются синтетическими, коллапс наступает. Если же синтетика добавляется к сохранённому исходному корпусу, ошибка остаётся ограниченной и не растёт с числом поколений.
| Режим обучения | Результат в экспериментах |
|---|---|
| Синтетика замещает реальные данные | Постепенная деградация, потеря редких случаев |
| Синтетика добавляется к реальным | Ошибка ограничена, коллапса нет |
| Синтетика с фильтрацией и проверкой | Прирост на целевых задачах |
Отсюда практическое правило, с которым согласны большинство команд: реальные данные остаются якорем, синтетика их дополняет, а не заменяет. Плюс обязательный отбор: дедупликация, оценка моделью-критиком, автоматическая проверка ответа там, где она возможна.
Важно и то, как измерять результат. Команды отслеживают не только средний балл на бенчмарке, но и разнообразие ответов, качество на редких категориях и поведение на свежих реальных примерах. Именно эти показатели первыми сигнализируют, что модель начала «сглаживаться», задолго до заметного падения средних метрик.
Синтетика за пределами текста
Языковые модели не единственные потребители сгенерированных данных. В беспилотном транспорте и робототехнике симуляция давно стала основным полигоном: разработчики прогоняют машины и манипуляторы через сценарии, которые в реальности слишком опасны или редки. Пешеход, выбежавший из-за автобуса в метель, в симуляторе повторяется тысячи раз с разными вариациями. Реальные заезды при этом остаются обязательными, потому что симулятор всегда упрощает физику и поведение людей.
В финансах синтетические транзакции помогают обучать системы выявления мошенничества. Настоящих случаев фрода мало, и они распределены неравномерно, поэтому генерация дополнительных примеров выравнивает выборку. О том, как такие системы работают в банках, мы рассказывали в подборке кейсов по борьбе с мошенничеством.
В медицине синтетические изображения и записи пациентов используют для обучения моделей на редких заболеваниях и для обмена данными между клиниками без передачи персональной информации. Здесь требования к проверке особенно строгие: регуляторы смотрят, насколько синтетическая выборка отражает реальную популяцию и не скрывает ли она систематические сдвиги. Общий вывод во всех трёх областях одинаков: синтетика расширяет данные, но финальную оценку модели проводят на реальных примерах.
Риски, о которых говорят меньше
Коллапс модели получил больше всего внимания, но на практике чаще встречаются другие проблемы.
- Усиление перекосов. Учитель передаёт ученику свои ошибки и предубеждения, причём в концентрированном виде.
- Однообразие стиля. Модели, обученные на текстах одного учителя, звучат похоже и хуже справляются с живой речью.
- Ложная уверенность в метриках. Если тестовые задачи похожи на синтетические обучающие, бенчмарк завышает реальное качество.
- Юридические ограничения. Условия использования ряда коммерческих моделей запрещают обучать на их ответах конкурирующие модели.
- Приватность не гарантирована. Синтетические записи могут случайно воспроизвести реальные, если генератор запомнил исходные данные.
Для команд, которые дообучают открытые модели на собственной синтетике, эти пункты важнее теоретического коллапса: они проявляются сразу, на первом же поколении.
Что изменилось к ноябрю 2026
К концу 2026 года спор «синтетика или реальные данные» в индустрии фактически закрыт. Синтетические данные используют почти все крупные разработчики, особенно на этапах дообучения и обучения рассуждениям. Вопрос сместился к качеству генерации и методам проверки. Растёт спрос на собственные, ранее не опубликованные человеческие данные, а лицензионные сделки с издателями и платформами стали обычной практикой.
Редакция считает разумной такую позицию для прикладных команд: используйте синтетику там, где результат проверяется автоматически или экспертом; сохраняйте реальный корпус как основу; отдельно тестируйте модель на живых данных, которых не было в обучении. Следить за новыми работами по теме удобно в разделе о технологиях ИИ.
Вопросы и ответы
Что такое синтетические данные для обучения модели?
Это примеры, созданные не людьми, а другой моделью или программой: тексты, диалоги, решения задач, табличные записи, изображения из симуляции. Их используют, когда реальных данных мало, они дорогие или содержат персональную информацию.
Правда ли, что модели деградируют от синтетики?
Деградация наблюдается, если синтетика из поколения в поколение вытесняет реальные данные. Когда исходный корпус сохраняется, а сгенерированные примеры отбираются и проверяются, эксперименты коллапса не показывают.
Где синтетические данные работают лучше всего?
В задачах с проверяемым ответом: программирование, математика, извлечение структурированных данных. Также в медицине и финансах, где синтетика заменяет реальные записи при тестировании, и в симуляциях для беспилотного транспорта и робототехники.
Можно ли обучать свою модель на ответах ChatGPT?
Технически да, но условия использования OpenAI и ряда других провайдеров запрещают применять их выходы для создания конкурирующих моделей. Перед проектом стоит проверить лицензию модели-учителя; у части открытых моделей ограничений меньше.



