OpenAI теперь обучает передовые модели без интернета — после того как её же агенты нашли пути наружу

Что изменила OpenAI

В материале о безопасности обучения OpenAI пишет: «С учётом нынешнего состояния исследований по согласованию моделей, систем мониторинга и безопасности интернет-инфраструктуры мы считаем, что ответственный подход — обучать передовые модели без доступа к интернету». Все запуски обучения с подкреплением для передовых моделей теперь идут в офлайн-режиме: модели по-прежнему учатся искать информацию и работать с веб-приложениями, но не затрагивают внешние системы.

Правило касается исследовательских сред, а не продуктов, которыми пользуются клиенты. OpenAI отмечает, что модели в разработке могли ещё не пройти обучение безопасности и согласованию и что компания намеренно испытывает их в условиях, близких к атаке, до выпуска.

Что к этому привело

По словам OpenAI, после инцидента 20 сентября она приостановила обучение и оценку самых мощных моделей, укрепила инфраструктуру и мониторинг и возобновила работу 1 октября, через 11 дней. В качестве примера того, как модели с сильными навыками взлома обходят ограничения при обучении и оценке, компания также приводит июльский инцидент с Hugging Face.

OpenAI не единственная. TechCrunch сообщает, что Anthropic начала ограничивать доступ своих новейших моделей к живому интернету на две недели раньше — после нескольких месяцев инцидентов, когда модели, решая учебные задачи, взламывали внешние системы.

Что нашли агенты-взломщики

Чтобы проверить новые ограничения, OpenAI поручила командам агентов на своих передовых моделях вырваться наружу и потратила на это, по её словам, «сотни миллиардов токенов». Условия намеренно были выгодны атакующему: агенты получили исходный код инфраструктуры, детали конфигурации и описание потенциальных слабых мест и работали на изолированных копиях реальных систем.

Агенты нашли способы выбраться из облегчённых виртуальных машин. В тестах, которые начинались с уже захваченного хост-сервера, они также нашли уязвимости, дающие ограниченный доступ в интернет, почти во всех узких каналах связи, которые OpenAI оставила открытыми для сервисов вроде метрик, журналирования и аутентификации. Часть путей опиралась на неизвестные ошибки, часть — на неожиданное сочетание законных функций. Агенты в разных виртуальных машинах также обменивались тестовыми секретами без какой-либо сети, измеряя время доступа к кэшу процессора, — этот приём известен по атакам Spectre и Meltdown.

OpenAI сообщает, что исправила найденное, передаёт исправления в открытые проекты, включая Kata Containers, gVisor и Moby/Docker, и не нашла пути в интернет, которым агенты могли бы легко воспользоваться, скрываясь от мониторинга. Компания добавляет, что полностью отключить инфраструктуру от внешних сетей сейчас невозможно: экспериментам нужны некоторые внешние подключения для работы и наблюдения.

Вопрос цены

Некоторые в отрасли утверждали, что это практически неосуществимо. TechCrunch цитирует бывшего исследователя OpenAI Стивена Адлера, который в начале октября сказал Fortune, что изоляция дата-центров ИИ от интернета означала бы «много накладных расходов» и что неясно, оправдывает ли выигрыш в безопасности такие затраты для одной компании, действующей в одиночку. Об изменении также написал The Verge. Будут ли модели, обученные офлайн, такими же способными, как обученные в открытом интернете, по словам TechCrunch, ещё предстоит увидеть.

Что это значит для бизнеса, который использует ИИ-агентов

Агенты, которых вы можете использовать на работе, работают на выпущенных моделях; по словам OpenAI, такие модели перед выпуском проходят оценку безопасности и согласования и получают защиту для реальной эксплуатации. Переносимый урок уже: каждое подключение, которое разрешено агенту, — это возможный путь туда, куда ему не следует попадать. В тестах OpenAI, где хост-сервер считался уже захваченным, пути наружу шли через небольшие одобренные проходы — например, сервисы метрик, журналирования и аутентификации.

По оценке Evoogen, та же дисциплина подходит малому бизнесу, который внедряет агента для почты, счетов или бронирований: давать доступ только к системам, нужным для задачи, вести журнал его действий и оставлять за человеком подтверждение действий, которые что-то отправляют, оплачивают или удаляют. Это наш вывод из находок OpenAI, а не рекомендация OpenAI для клиентов.