Как работает ChatGPT: устройство большой языковой модели

Большие языковые модели (LLM) — это не просто «умные» ответы из интернета. Это сложные вычислительные системы, обученные предсказывать следующее слово в огромных корпусах текста. Понимание их архитектуры важно для оценки возможностей и ограничений технологий на основе трансформеров. Статья разбирает устройство модели с технической точки зрения.

Архитектурная основа: трансформеры

В основе моделей лежит архитектура трансформера, предложенная в 2017 году. Ключевой компонент — механизм self-attention, который позволяет каждому токену (слову или части слова) учитывать весь контекст предложения. Слои состоят из двух типов внимания — энкодера и декодера — однако модели типа GPT используют только декодирующее внимание, работающее рекуррентно: для генерации текста они предсказывают один токен за раз, начиная с пустого начала.

Корпуса данных, на которых обучают такие системы, достигают сотен миллиардов токемов — примерно 100–300 млрд слов для GPT-3 и ещё больше для более поздних версий. Это даёт модели глубокое языковое понимание, но также вводит искажения из низкокачественных источников. Современные версии используют гибридные датасеты: веб-краулы (например, Common Crawl), научные статьи, книги и часть лицензионного контента с атрибуцией. Такой подход повышает фактологическую точность по сравнению с чисто интернетными источниками.

Предобучение и следующие токены

Основная цель предобучения — научиться предсказывать следующий токен в последовательности. Это создаёт плотное представление языка в скрытых слоях, из которого можно извлечь ответы на вопросы, написать код или сгенерировать текст. Однако такое обучение не включает внешних знаний о мире: модель знает структуру предложений и типовые причинно-следственные связи, но не может «думать» как человек, если задача требует логического вывода (например, математический расчёт). Это фундаментальное ограничение — модель не является универсальным агентом размышлений.

Важный малоизвестный факт: в GPT-4 контекстное окно может достигать 128 тыс. токенов. Это позволяет модели принимать на вход целые главы книг, технические спецификации или длинные диалоги, но одновременно создаёт проблемы с оперативной памятью при инференсе, что требует особых архитектурных решений — например, сжатия представления (KV-кэширование) и специализированных чипов.

Тонкая настройка и RLHF

После предобучения модель проходит процедуру тонкой настройки (fine-tuning), чтобы адаптироваться к конкретным задачам. Для диалоговых систем, таких как ChatGPT, используется подход Reinforcement Learning from Human Feedback (RLHF). Сначала обучается модель вознаграждения на основе человеческих предпочтений (например, «какой ответ пользователю понравился больше?»), а затем используется алгоритм PPO или сходный для обновления весов основного LLM с обратной связью.

Отдельные исследования показывают, что чистый RLHF иногда приводит к чрезмерной «человечности» ответов, сглаживанию сложных фактов и потере технической точности. Поэтому в OpenAI и других лабораториях применяются гибридные схемы: например, supervised fine-tuning (SFT) для базовых инструкций и вспомогательная дообученная модель для корректировки выходов через механизм constrained decoding — генерация ограничиваемая заранее подготовленной графовой структурой знаний. Другой факт: OpenAI часто использует собственные вычислительные кластеры с тысячами GPU, а не публичные облака, что ускоряет итерации на порядки.

Проблемы и ограничения

Ограничения модели проявляются сразу. Галлюцинации — распространённая проблема: модель может выдавать правдоподобно звучащие, но ложные факты. Это не баг, а следствие того, что обучение оптимизируется на статистике предсказаний, а не на верификации истинности. Точность ответов также ограничена датасетом обучения — если вопрос касается событий после даты последнего обновления (у GPT-4 это, по некоторым оценкам, конец 2021 года), модель не будет знать их.

Безопасность достигается несколькими слоями: фильтрацией токсичного контента через отдельные модели, которые классифицируют намерения и запрещают вредные сценарии; также вводят «отказывающие» механизмы (system prompts) для случаев, когда задача выходит за рамки доверенных сфер. Однако такие фильтры могут создавать нежелательные ограничения — например, отказывать отвечать на сложные научные темы, которые содержат редкие термины.

Перспективы развития

Будущее LLM связано с несколькими направлениями. Во-первых, интеграция внешнего контекста через retrieval-augmented generation (RAG), где к запросу подключается база фактов, и модель строит ответ на основе этих документов. Это уменьшает галлюцинации, но требует качественных источников. Во-вторых, переход от чисто текстовых моделей к мультимодальным — GPT-4V уже обрабатывает изображения, что расширяет сценарии применения (описание научных графиков, медицинская диагностика).

Ещё одно перспективное направление — создание более эффективных архитектур: например, модели с условными токенами или специализированные чипы для инференса. В то же время сообщество стремится к открытым весам: крупные исследовательские институты постепенно публикуют свои версии GPT-подобных моделей, что стимулирует независимый аудит безопасности и улучшений. Но важно помнить: даже при этих прогрессах большие языковые модели остаются статистическими предикторами, а не универсальными агентами размышлений. Понимание их устройства — первый шаг к тому, чтобы использовать их ответственно и критически оценивать выдаваемые ответы.