"Скайнет" под контролем: OpenAI представила Control Room - систему для экстренной остановки ИИ-моделей за 35 секунд

OpenAI рассказала о новой внутренней системе безопасности под названием Control Room. Она предназначена для отслеживания рабочих нагрузок моделей по всей исследовательской инфраструктуре и их быстрой остановки в случае возникновения угроз безопасности или нарушения выравнивания.
Система интегрирована с инструментами мониторинга, которые следят за действиями обучаемых моделей. Если монитор обнаруживает потенциальную проблему, он отправляет сигнал в Control Room, и та блокирует дальнейшую генерацию токенов. Максимальное время между получением команды на остановку и фактическим прекращением работы составляет 35 секунд. В будущем компания планирует сократить эту задержку до нуля.
Ключевая особенность системы — отказоустойчивость. Механизм блокировки реализован на уровне движка вывода, а не исследовательского кода, который часто меняется. Кроме того, система работает по принципу «fail closed»: если Control Room выйдет из строя или будет отключена, все запросы на генерацию будут автоматически отклоняться. Это гарантирует, что модели не продолжат работу без надзора, даже при сбоях или попытках саботажа. Система уже развернута для всех исследовательских нагрузок с фронтир-моделями.
Подписывайтесь на наш Telegram-канал
Свежие новости индустрии, трейлеры и скидки Steam сразу на вашем смартфоне.
Комментарии и обсуждение0