Как устроена архитектура MoEПочему большие модели включают только часть своих параметров

Mixture of Experts позволяет модели хранить сотни миллиардов параметров, а на каждый токен задействовать лишь небольшую их долю. Разбираем, как это работает и чем приходится платить.

Технологии ИИОбновлено 12.11.20267 мин чтения
Как устроена архитектура MoE
▲ коротко: Как устроена архитектура MoE✓ В MoE-модели обычный полносвязный блок заменён набором «экспертов», а маршрутизатор выбирает для каждого токена несколько из них✓ Вычислений на токен становится меньше, но в памяти всё равно должны лежать все веса модели✓ На MoE построены Mixtral, DeepSeek-V3 и V4, Llama 4, Qwen3 и gpt-oss✓ Главные сложности: балансировка нагрузки между экспертами, требования к памяти и сетевому обмену при обучении
37 млрдактивных параметров на токен у DeepSeek-V3 из 671 млрд
2 из 8экспертов выбирает маршрутизатор Mixtral 8x7B для каждого токена
~5 млрдактивных параметров у gpt-oss-120b при общем объёме ~117 млрд

Идея: не вся сеть на каждый токен

В классическом трансформере каждый токен проходит через все слои целиком. Если модель весит 70 млрд параметров, то на каждое слово ответа задействованы все 70 млрд. Это называют плотной (dense) архитектурой.

Mixture of Experts устроена иначе. Внутри слоя вместо одного большого полносвязного блока стоит набор из нескольких блоков поменьше: их и называют экспертами. Перед ними работает маленькая сеть-маршрутизатор (router, gating network). Она смотрит на токен и решает, каким двум, четырём или восьми экспертам его отдать. Остальные эксперты в этот момент простаивают.

Технически маршрутизатор выдаёт для токена оценку каждого эксперта. Выбираются k лучших (это называют top-k), их ответы складываются с весами, пропорциональными оценкам. Выбор происходит заново на каждом слое и для каждого токена. Поэтому одно предложение может пройти через десятки разных комбинаций экспертов, а «эксперта по химии» внутри модели найти не получится.

В итоге у модели два разных размера. Общий показывает, сколько знаний она может хранить. Активный показывает, сколько вычислений уходит на один токен. Именно второй во многом определяет скорость и стоимость генерации, о которой мы подробно писали в разборе экономики инференса.

Откуда взялась архитектура

Сама идея смеси экспертов появилась в начале 1990-х, задолго до глубокого обучения. В современном виде её вернула группа исследователей Google: в 2017 году они показали разреженный слой MoE внутри рекуррентной сети. Затем были GShard (2020) и Switch Transformer (2021), где каждый токен отправлялся лишь к одному эксперту, а общий размер модели впервые перевалил за триллион параметров.

Массовой архитектура стала после выхода Mixtral 8x7B от Mistral AI в декабре 2023 года. Это была открытая модель, которую можно было скачать и запустить самостоятельно. В ней восемь экспертов на слой, маршрутизатор выбирает два. Общий объём около 47 млрд параметров, активных около 13 млрд, и при этом модель конкурировала с плотными моделями заметно большего «активного» размера.

Следующий шаг сделала DeepSeek. В её моделях экспертов больше и они мельче: на слой приходятся сотни узких блоков, а не восемь крупных. Кроме того, выделены «общие» эксперты, через которых проходит каждый токен: они хранят универсальные знания, а маршрутизируемые эксперты отвечают за более узкие закономерности. Такая схема позволила сделать специализацию тоньше без роста вычислений на токен.

▲ хроника✓ 2017-01 · Google публикует работу о разреженном слое MoE✓ 2021-01 · Switch Transformer: маршрутизация к одному эксперту✓ 2023-12 · Mistral AI выпускает открытую Mixtral 8x7B✓ 2024-12 · DeepSeek-V3: 671 млрд параметров, 37 млрд активных✓ 2025-08 · OpenAI выкладывает открытые MoE-модели gpt-oss✓ 2026-04 · DeepSeek-V4: 1,6 трлн параметров в версии Pro

Кто использует MoE сейчас

К ноябрю 2026 года MoE стала стандартом для крупных открытых моделей. Закрытые лаборатории архитектуру своих флагманов обычно не раскрывают: о том, что GPT-4 был смесью экспертов, сообщали только неофициальные источники.

МодельВыходВсего параметровАктивно на токен
Mixtral 8x7Bдекабрь 2023~47 млрд~13 млрд
DeepSeek-V3декабрь 2024671 млрд37 млрд
Qwen3-235B-A22Bапрель 2025235 млрд22 млрд
gpt-oss-120bавгуст 2025~117 млрд~5 млрд
DeepSeek-V4-Proапрель 20261,6 трлн49 млрд

В этот же ряд входит семейство Llama 4 от Meta, вышедшее весной 2025 года. Тенденция видна по таблице: общий размер растёт быстрее активного, а доля задействованных весов на токен падает.

Почему это выгодно

Главный аргумент экономический. Обучение и генерация оплачиваются в основном вычислениями, а их объём пропорционален активным параметрам. MoE-модель с 37 млрд активных параметров считает токен примерно как плотная модель того же размера, но хранит знания модели в десятки раз больше.

  • Дешевле обучение. При том же бюджете на вычисления можно обучить модель большей ёмкости. DeepSeek подробно описала, как именно экономила на обучении V3, и эта публикация заметно повлияла на отрасль.
  • Быстрее ответ. На токен уходит меньше операций, поэтому при достаточной памяти генерация идёт быстрее, чем у плотной модели сопоставимого качества.
  • Специализация. Эксперты в процессе обучения сами начинают отвечать за разные типы токенов. Правда, исследования показывают, что это разделение редко совпадает с понятными человеку темами вроде «математика» или «код».

Поэтому MoE хорошо сочетается с рассуждающими моделями: им нужно генерировать много промежуточных токенов, и дешёвый токен здесь особенно ценен. Подробнее об этом в материале о том, как устроены рассуждающие модели.

Чем приходится платить

Разреженность экономит вычисления, но не память. Чтобы маршрутизатор мог выбрать любого эксперта, все веса должны быть загружены. Модель на 671 млрд параметров требует сотни гигабайт видеопамяти даже в сжатом виде, хотя считает токен как модель на 37 млрд.

  • Балансировка. Без специальных мер маршрутизатор начинает отправлять почти всё нескольким «любимым» экспертам, а остальные недообучаются. Классическое решение: дополнительная функция потерь, штрафующая перекос. DeepSeek в V3 предложила обходиться без неё, корректируя смещения маршрутизатора.
  • Сеть и инфраструктура. Эксперты обычно разнесены по разным ускорителям. Токены приходится пересылать между ними, поэтому скорость межсоединений становится узким местом. Это одна из причин, почему производители делают упор на стойки с десятками связанных GPU, о которых мы рассказываем в обзоре чипов для ИИ.
  • Дообучение. Тонкая настройка MoE капризнее, чем у плотных моделей: легко нарушить сложившийся баланс экспертов.
  • Небольшие пакеты запросов. На одном пользователе выигрыш скромнее, ведь память читается почти целиком. Экономия раскрывается при обслуживании многих запросов параллельно.

Отдельный вопрос: сравнение с плотными моделями. Оценки расходятся, и единой формулы нет. Распространённое эмпирическое правило гласит, что по качеству MoE-модель соответствует плотной модели промежуточного размера: заметно больше активного, но меньше полного. Иными словами, триллион общих параметров не равен триллиону параметров плотной сети, хотя результат сильно зависит от данных и качества обученияплотной сети.

Что это значит для тех, кто выбирает модель

Для разработчика, который работает через API, архитектура почти незаметна: важны цена за токен, качество и задержка. Разница проявляется при самостоятельном развёртывании открытых весов.

  1. Смотрите на оба числа. Общий размер определяет, сколько памяти нужно серверу, активный определяет скорость.
  2. Считайте нагрузку. MoE выгоднее при большом потоке запросов, для редких обращений плотная модель меньшего размера может оказаться проще.
  3. Проверяйте квантование. Многие MoE-модели выпускаются сразу в 8- или 4-битных форматах, и это меняет требования к железу.

Когда собственный хостинг открытой модели оказывается дешевле API, редакция разбирала в отдельном посте блога.

Что изменилось с тех пор

С момента первой публикации этого материала архитектура окончательно стала нормой для открытых флагманов. В апреле 2026 года DeepSeek выпустила семейство V4: версия Pro насчитывает 1,6 трлн параметров при 49 млрд активных, версия Flash 284 млрд при 13 млрд активных. Обе поддерживают контекст до миллиона токенов.

Параллельно растёт число экспертов и уменьшается их размер: вместо восьми крупных блоков модели используют сотни мелких плюс общих экспертов, через которых проходит каждый токен. Другие новости архитектур мы собираем в рубрике «Технологии ИИ».

Вопросы и ответы

Что такое эксперт в модели MoE?

Это отдельный полносвязный блок внутри слоя трансформера. Таких блоков в слое несколько, и маршрутизатор для каждого токена выбирает лишь некоторые из них. Эксперт не отвечает за конкретную тему: специализация возникает сама в ходе обучения и обычно плохо поддаётся интерпретации.

Почему MoE-модель быстрее плотной модели того же размера?

На каждый токен она выполняет вычисления только с активными экспертами, то есть с малой долей весов. Модель на 671 млрд параметров с 37 млрд активных считает токен примерно как плотная модель на 37 млрд, если сервер вмещает все веса в память.

Можно ли запустить большую MoE-модель на домашнем компьютере?

Флагманские MoE-модели требуют сотен гигабайт памяти, поэтому дома они недоступны. Небольшие модели этого типа, например gpt-oss-20b или младшие версии Qwen3, при квантовании запускаются на мощной видеокарте или компьютере с большим объёмом общей памяти.

Используют ли MoE закрытые модели вроде GPT или Claude?

Компании обычно не раскрывают архитектуру своих флагманских моделей. По неофициальным сведениям, смесь экспертов использовалась ещё в GPT-4. OpenAI подтвердила MoE только для открытых моделей gpt-oss, опубликовав их описание.

Ещё по теме

Следующая новость уже в ленте