GFusion: ускорение генерации текста на 70% для LLM

Андрей Отинов -

В небольшом офисе команда ML‑инженеров обсуждает новый инструмент GFusion, который обещает ускорить генерацию текста на 70 %.
Конкретный факт – GFusion – это диффузионная версия модели GigaChat3‑10B‑A1.8B‑base, полученная путём адаптации существующей авторегрессионной модели.
Практическое значение – более быстрый вывод сокращает время обработки запросов и снижает затраты на инфраструктуру.
Что проверить – сравнить показатель TPF (Tokens‑Per‑Forward) и оценить падение качества на 2‑4 пункта по шкале BLEU/ROUGE, чтобы понять, подходит ли это решение для вашего кейса.

Источник: Habr

Что GFusion изменяет в практике

GFusion представляет собой метод, позволяющий превратить обычную модель генерации текста, работающую токен‑за‑токен, в диффузионную, где блоки фиксированного размера обрабатываются за один проход.
- Ускорение генерации – в режиме одного пользователя GFusion в среднем быстрее на 70 % по сравнению с оригинальной GigaChat3, а с MTP‑головой – на 39 %.
- Контроль качества – падение качества всего на 2‑4 пункта, которое можно регулировать параметрами генерации.
- Open‑source – проект поддерживается в репозитории SGLang, а также добавлен новый алгоритм семплирования, ускоряющий другие диффузионные LLM.
- Ускорение обучения – оптимизация attention для текстовой диффузии позволила достичь +60 % средней скорости обучения по сравнению с Flex‑Attention.

Почему это важно сейчас

В условиях растущего спроса на быстрые и экономичные модели генерации текста компании вынуждены искать способы уменьшить время вывода без потери качества.
- Снижение затрат – более быстрый вывод означает меньшее потребление GPU‑ресурсов и, как следствие, меньшие расходы на облачные сервисы.
- Скорость разработки – возможность быстро адаптировать существующую модель без обучения с нуля ускоряет цикл разработки.
- Конкурентное преимущество – модели, способные генерировать ответы быстрее, повышают удовлетворённость пользователей и позволяют обрабатывать больше запросов в реальном времени.

Как превратить это в повторяемый процесс

  1. Базовый претрейн – адаптировать исходную авторегрессионную модель к диффузионному режиму, изменив архитектуру внимания и добавив блоки маскирования.
  2. Мидтрейн – дообучить модель на более широком наборе данных, чтобы улучшить её общую способность к генерации.
  3. Расширение контекста – увеличить окно контекста до 32 000 токенов, что позволяет обрабатывать более длинные тексты без потери связности.
  4. SFT (Instruction‑following fine‑tuning) – обучить модель следовать инструкциям и формату, чтобы она могла корректно отвечать на запросы.
  5. Confidence tuning – короткая стадия после SFT, где подбираются параметры генерации (temperature, top‑k, top‑p), чтобы контролировать баланс скорости и качества.
  6. Тестирование TPF – измерить Tokens‑Per‑Forward, чтобы убедиться, что модель действительно генерирует несколько токенов за один проход.
  7. Проверка качества – провести оценку на собственных тестовых наборах, сравнив BLEU/ROUGE с базовой моделью.
  8. Развертывание – использовать SGLang для запуска модели в продакшене, применяя новый алгоритм семплирования для ускорения вывода.

Где ограничения и риски

  • Падение качества – 2‑4 пункта может быть критичным для задач, требующих высокой точности (например, юридические документы).
  • Требования к ресурсам – хотя вывод быстрее, обучение всё равно требует значительных GPU‑ресурсов, особенно при расширении контекста.
  • Лицензирование – исходная модель GigaChat3‑10B‑A1.8B‑base принадлежит Сберу; использование её в коммерческих проектах может потребовать лицензии.
  • Сложность настройки – переход от AR к диффузионному режиму требует глубокого понимания архитектуры модели и тонкой настройки гиперпараметров.
  • Непредсказуемость – новые алгоритмы семплирования могут вести себя иначе на разных типах данных, что требует дополнительного тестирования.

Что делать дальше

  1. Сравнить TPF – измерьте Tokens‑Per‑Forward на небольшом наборе данных, чтобы убедиться в ускорении.
  2. Оценить качество – запустите модель на ваших типичных запросах и сравните метрики с базовой моделью.
  3. Проверить лицензии – уточните условия использования GigaChat3‑10B‑A1.8B‑base в вашем регионе.
  4. Пилотировать – разверните GFusion в ограниченном окружении (например, в одном сервисе), чтобы оценить реальные затраты и выгоды.
  5. Обратная связь – соберите отзывы от конечных пользователей и корректируйте параметры генерации.
  6. Документировать – зафиксируйте процесс адаптации и результаты, чтобы команда могла воспроизводить эксперимент в будущем.

Источники

Дополнительные материалы

Для более глубокого понимания технологии GFusion и её применения в реальных проектах рекомендуется ознакомиться с исходной статьёй на Habr, где подробно описаны архитектурные решения и результаты экспериментов. Также полезно изучить репозиторий SGLang, где представлены примеры использования нового алгоритма семплирования и инструкции по развёртыванию модели. Если вы планируете адаптировать GFusion для своих задач, обратите внимание на раздел "Confidence tuning" – он позволяет тонко настроить баланс между скоростью генерации и качеством выходных данных.

Что почитать дальше