Классификаторы безопасности Claude Fable 5: как оценить риск джейлбрейка

Андрей Отинов -

Что изменилось в практике

В июле 2026 Anthropic объявил, что модель Claude Fable 5 теперь работает с новыми «системами‑сейфами», которые автоматически блокируют запросы, которые могут привести к вредоносным действиям в области кибербезопасности.
Система разделяет запросы на четыре группы:
1. Запрещённые действия – полностью блокируются (например, создание вредоносного ПО, атаки на инфраструктуру).
2. Высокорискованные двойные цели – также блокируются (например, тесты проникновения, эксплойты).
3. Низкорискованные двойные цели – обычно разрешаются, но иногда блокируются в рамках «предела безопасности» (safety margin).
4. Благоприятные действия – разрешаются с небольшим мониторингом (например, сканирование кода на уязвимости).

Источник: Anthropic

Кроме того, Anthropic представил ранний черновик шкалы CJS (Cyber Jailbreak Severity), позволяющей оценивать, насколько опасен конкретный «джейлбрейк» – от информационного (CJS‑0) до критического (CJS‑4).

Почему это важно сейчас

Многие компании используют LLM‑модели для автоматизации задач по обнаружению уязвимостей и тестированию безопасности. Если модель не сможет отличить полезный запрос от потенциально вредоносного, это может привести к утечке данных, запуску вредоносного кода или даже к юридическим санкциям.
Новые классификаторы и шкала CJS дают практическое средство для оценки риска и настройки политик доступа к модели. Это особенно важно в России, где доступ к зарубежным сервисам может быть ограничен, а юридические последствия от использования вредоносных инструментов высоки.

Как превратить это в повторяемый процесс

  1. Определите категорию запроса
  2. Если запрос связан с созданием вредоносного ПО, эксплойтами, обходом защиты – это запрещённые действия.
  3. Если запрос относится к тестированию проникновения или исследованию уязвимостей – это высокорискованные двойные цели.
  4. Если запрос касается сканирования открытых сервисов, анализа логов – это низкорискованные двойные цели.
  5. Если запрос просто проверяет код на наличие известных уязвимостей – это благоприятные действия.
  6. Проверьте «предел безопасности» (safety margin)
  7. Запросы, которые находятся в «пределе безопасности», могут быть заблокированы даже если они относятся к низкорискованным двойным целям. Это сделано для снижения риска случайного обхода защиты.
  8. Оцените CJS
  9. Оцените увеличение возможностей (capability gain): насколько запрос расширяет возможности атакующего.
  10. Оцените широту применения (breadth): сколько типов атак может использовать этот запрос.
  11. Оцените простоту оружейной реализации (ease of weaponization): сколько усилий требуется, чтобы превратить запрос в реальную атаку.
  12. Оцените обнаружимость (discoverability): насколько легко злоумышленник может найти этот запрос.
  13. Сложите эти оценки, чтобы получить шкалу от CJS‑0 до CJS‑4.
  14. Настройте политику доступа
  15. Запрещённые и высокорискованные запросы – полностью блокируются.
  16. Низкорискованные запросы – разрешаются, но с мониторингом и ограничением частоты.
  17. Благоприятные запросы – разрешаются без ограничений.
  18. Периодически проверяйте
  19. Обновляйте «предел безопасности» и шкалу CJS в соответствии с новыми данными о реальных атаках.

Где ограничения и риски

  • Фиксированная «предел безопасности» может блокировать полезные запросы, особенно в новых областях тестирования.
  • Шкала CJS пока находится в стадии черновика; её параметры могут измениться.
  • Доступ к модели может быть ограничен в России из-за санкций и технических ограничений.
  • Потенциальные юридические риски: даже если запрос разрешён, его использование может нарушать законы о кибербезопасности.

Что делать дальше

  1. Проверьте, какие категории запросов вы обычно используете – составьте список и классифицируйте их по четырём группам.
  2. Оцените каждый запрос по шкале CJS – используйте простую таблицу, чтобы быстро определить уровень риска.
  3. Настройте политику доступа в соответствии с результатами – блокируйте высокорискованные и запрещённые запросы, разрешайте низкорискованные с мониторингом.
  4. Подключите программу HackerOne (если доступно) – отправляйте найденные потенциальные джейлбрейки для проверки.
  5. Регулярно обновляйте настройки – следите за новыми версиями модели и изменениями в классификаторах.

Практический чек‑лист (на неделю)

  • [ ] Составьте список типовых запросов к модели.
  • [ ] Классифицируйте каждый запрос как запрещённый, высокорискованный, низкорискованный или благоприятный.
  • [ ] Оцените CJS для каждого запроса (0‑4).
  • [ ] Настройте правила доступа в вашей системе (блокировка, мониторинг, разрешение).
  • [ ] Проверьте, не попадает ли ваш список в «предел безопасности».
  • [ ] Подключите мониторинг логов для выявления блокировок.
  • [ ] Отправьте найденные потенциальные джейлбрейки в программу HackerOne.

Дополнительные рекомендации для внедрения

Для успешного внедрения описанных механизмов в корпоративную среду рекомендуется выполнить следующие шаги:

  • Интеграция с SIEM-системами: настройте передачу логов блокировок и разрешённых запросов в централизованную систему управления событиями безопасности для анализа аномалий.
  • Обучение команды: проведите тренинги для разработчиков и специалистов по безопасности по корректной классификации запросов и интерпретации шкалы CJS.
  • Пилотное тестирование: запустите новый процесс на ограниченном наборе запросов в течение двух недель, чтобы выявить ложные срабатывания и настроить «предел безопасности».
  • Обратная связь с Anthropic: используйте программу HackerOne для отправки отчётов о ложных блокировках, чтобы улучшить классификаторы в будущих версиях модели.

Источники

Темы журнала

Что почитать дальше