ИИ-агенты, которые спрашивают, прежде чем действовать: что малому бизнесу стоит (и не стоит) им доверять

Во вторник, в самый разгар работы, поставщик пишет: у нас новые банковские реквизиты, оплатите, пожалуйста, приложенный счёт сегодня. ИИ-агент, подключённый к вашей почте и бизнес-счёту, мог бы прочитать это письмо, сверить счёт и отправить деньги, пока вы допиваете кофе. Будет ли это полезно или опасно, зависит от одного решения при настройке: агент готовит платёж и спрашивает вас или просто платит?

Короткий ответ для малого бизнеса: пусть агент читает, сортирует, делает сводки, пишет черновики и готовит работу — здесь он экономит время, а ошибки легко поймать. Но он должен остановиться и ждать человека, прежде чем что-либо выйдет за пределы компании или станет необратимым: это платежи, сообщения клиентам, удаление данных, подписание и изменение банковских или зарплатных реквизитов. Всё остальное решайте с помощью нескольких простых вопросов: можно ли это отменить, касается ли это денег и персональных данных и как быстро вы можете проверить работу.

Почему это важно именно сейчас

За три дня вышли три анонса, а на следующий день прошла витрина Gusto: всё это приближает инструменты с агентным поведением к малому бизнесу. Границу они проводят по-разному.

• Google, 20 октября. В объявлении о новых инструментах Gemini для владельцев малого бизнеса Google представила в приложении Gemini отдельную страницу для бизнеса, подключение к Google Business Profile, Google Ads и Google Workspace, а также к таким приложениям, как Shopify, Xero, Canva и Dropbox. Gemini умеет превращать таблицы, чеки и записи о покупках в финансовую инфографику и интерактивные модели. Google сообщает, что в ближайшие дни эти инструменты начнут появляться у всех пользователей приложения Gemini по всему миру. В публикации не сказано, какие действия Gemini может выполнять внутри подключённых приложений.
• Anthropic, 21 октября. Claude Duet — исследовательская предварительная версия (research preview) проактивного агента для специалистов и владельцев малого бизнеса. Он сам читает, пишет черновики и готовит работу, но, по словам Anthropic, прежде чем отправить сообщение, совершить платёж, подписать документ или что-либо удалить, показывает, что именно собирается сделать, и ждёт одобрения. Некоторые действия, например торговля ценными бумагами или перевод денег между счетами, запрещены даже с одобрением. Пока сервис доступен только в США, через лист ожидания, для подписчиков Pro и Max.
• Stripe, 21 октября. Stripe Treasury for agents позволяет агентам, в том числе ChatGPT и Claude, проверять остатки, оплачивать счета, переводить средства между счетами и конвертировать валюты. Stripe сообщает, что задавать агентам лимиты расходов можно будет «в ближайшие недели». В документации для разработчиков сказано, что по умолчанию вы проверяете и одобряете любое действие агента, которое приводит к реальному движению денег, а инструменты Treasury находятся в публичной предварительной версии. Сам Treasury указан как доступный в публичной предварительной версии в США и Великобритании. В Австралии — закрытая предварительная версия. Стран ЕС в списке нет.
• Gusto, 22 октября. На своём мероприятии Fall Showcase Gusto заявила, что владельцы могут подключить Gusto к Claude, ChatGPT и другим ИИ-инструментам, чтобы задавать вопросы, готовить расчёт зарплаты и формировать отчёты, причём каждое изменение они одобряют до того, как оно станет окончательным. Само подключение появилось раньше: Gusto объявила о приложении для ChatGPT 20 января 2026 г. и подключении к Claude и Slack 8 апреля 2026 года. Gusto рассчитан на работодателей в США: на той же витрине представлены регистрация в налоговых органах штатов, расчёт зарплаты для нескольких штатов и пенсионные планы 401(k). В справочной статье Gusto сказано, что на этапе раннего доступа запуск расчёта зарплаты таким способом по-прежнему открыт только части клиентов.

Обратите внимание: поставщики проводят эту границу в разных местах. Claude Duet не станет переводить деньги между счетами, даже если вы это одобрите. Инструменты Stripe для агентов могут переводить деньги между счетами. По умолчанию любое реальное движение денег одобряете вы, а бизнес сам выбирает, когда такое одобрение требуется. Это хороший повод выработать собственные правила, а не полагаться на настройки по умолчанию, с которыми поставляется продукт.

Подготовить или выполнить: граница, которая важна

ИИ-агент — это программа, которая умеет планировать шаги и пользоваться инструментами, например вашей почтой, календарём, бухгалтерией или системой расчёта зарплаты, чтобы достичь поставленной вами цели. Коннектор — это связь, через которую агент получает доступ к одному из этих инструментов.

Подготовить — значит сделать работу до момента обязательства: прочитать счёт, сверить его с заказом, заполнить платёж и показать его вам. Выполнить — значит само обязательство: деньги уходят, письмо попадает во входящие клиента, запись удалена. В инструментах выше экономия времени — в подготовке, а ущерб — в последнем шаге.

В справочной статье Gusto риск описан прямо. Подключённые ИИ-платформы могут и читать данные, и выполнять действия в вашем аккаунте Gusto, а проверять действия до их выполнения обязаны вы. Gusto настоятельно рекомендует не включать настройки, которые позволяют инструментам работать автоматически без вашего одобрения.

Зачем агентам шаг одобрения

Шаг одобрения решает три проблемы, которые более умная модель не устраняет.

Обычные ошибки. Anthropic пишет о собственном агенте, что он «всё ещё может неправильно понять переписку или неверно оценить срочность». Неправильно понятая переписка безобидна в черновике и дорого обходится в отправленном письме или оплаченном счёте.

Инструкции, спрятанные в том, что читает агент. Агент читает письма, счета и веб-страницы, написанные другими людьми, и в любом из них может оказаться текст, призванный им управлять. Это называется prompt injection (внедрение инструкций). Британский Национальный центр кибербезопасности (NCSC) в записи блога «Prompt injection is not SQL injection» («Внедрение инструкций — не SQL-инъекция») объясняет, что современные языковые модели не проводят границу между инструкциями и данными и что такие атаки, возможно, никогда не удастся полностью устранить. NCSC приводит простое правило: ИИ, который обрабатывает письма от посторонних людей, не должен иметь доступа к привилегированным инструментам. На странице справки Claude Duet Anthropic говорит то же о собственном продукте: идеальной защиты не существует, «и это одна из причин, по которым важные действия требуют вашего одобрения».

Скорость. В рекомендациях о том, как осторожно внедрять агентный ИИ, NCSC предупреждает, что проблемы труднее заметить, когда действия происходят быстрее, чем люди успевают их осмысленно проверить. Там же сказано, что люди остаются ответственными за решение запустить агента, за выданный ему доступ и за последствия.

Уровни риска: что поручить, а что одобрять самому

Практичный способ решить — разложить задачи по тому, что случится, если агент ошибётся. Уровни ниже — наша собственная схема, основанная на источниках этой статьи, а не нормативный стандарт.

Проект по безопасности OWASP называет этот риск «чрезмерной агентностью» (excessive agency): у агента больше функций, прав или самостоятельности, чем нужно для его работы. В руководстве о чрезмерной агентности приведены два примера, которые ложатся на таблицу: агенту, который только делает сводки писем, нужен доступ на чтение, а не возможность отправлять или удалять, а агент, который может удалять документы пользователя, не должен делать этого без подтверждения пользователя.

Три действия, которые должны ждать человека

Платежи

Платежи — самый очевидный случай. В рекомендациях для бизнеса правительственной кампании Stop! Think Fraud мошенничество с перенаправлением платежей названо одной из самых разрушительных схем для британского бизнеса, в том числе поддельные счета с обновлёнными банковскими реквизитами, отправленные со взломанных или похожих на настоящие адресов поставщиков. Там советуют подтверждать и старые, и новые реквизиты по номеру телефона, который вам уже известен, использовать процедуры согласования и разделять обязанности, чтобы один и тот же человек не одобрял и не оплачивал счета. Некоторые компании выжидают 14 или 30 дней, прежде чем одобрить новые реквизиты поставщика.

Агент, который сам оплачивает счета, — это, по сути, один человек, который и одобряет, и платит, причём читает он именно такие письма, какие пишут мошенники. Пусть он готовит платёж и помечает всё новое или изменённое. Одобрение и любое изменение банковских реквизитов оставьте за человеком. Пока не появились объявленные Stripe лимиты расходов для агентов, опорой остаются одобрения. Функция Stripe для двустороннего согласования (two-party approvals) может приостановить действие до решения назначенного проверяющего или заблокировать его. Для исходящего платежа, перевода, выплаты или конвертации валюты такое правило действует, только если действие запускает API-ключ с меткой агента. Проверяющим должен быть не тот, кто запустил действие.

Письма клиентам

Неудачный черновик стоит вам минуты. Отправленное письмо, в котором обещана неверная цена, раскрыты данные другого клиента или которое ушло людям, никогда не соглашавшимся получать от вас письма, отозвать гораздо труднее. В Великобритании в руководстве регулятора ICO по электронному маркетингу по правилам PECR сказано, что для незапрошенных маркетинговых писем отдельным подписчикам (individual subscribers), включая ИП (sole traders) и обычные партнёрства (ordinary partnerships), нужно их согласие или действующий soft opt-in; корпоративным подписчикам (corporate subscribers) это не требуется; в письме должен быть действительный адрес для отказа от рассылки; а платформа массовой рассылки, как правило, не снимает ответственность с отправителя. Агент тоже не меняет того, кто отвечает. Пусть он готовит черновик, а отправляет человек, по крайней мере пока вы не увидите достаточно его черновиков, чтобы доверить ему узкий, заранее определённый тип сообщений.

Удаление данных

Удаление выглядит как наведение порядка, но у него есть юридический вес в обе стороны. На GOV.UK сказано, что компания с ограниченной ответственностью (limited company) обязана хранить свои корпоративные и бухгалтерские документы в течение 6 лет с конца последнего финансового года, к которому они относятся, а дольше — если запись охватывает больше одного отчётного периода, компания купила что-то со сроком службы больше 6 лет, Company Tax Return был сдан с опозданием или HMRC уже начал проверку (compliance check). Там же сказано: вас могут оштрафовать на £3000 или дисквалифицировать как директора компании, если бухгалтерские записи не ведутся. При этом в руководстве ICO об ограничении срока хранения сказано, что нельзя хранить персональные данные дольше, чем они вам нужны. ICO отмечает, что эта страница пересматривается из-за Data (Use and Access) Act и может измениться. Агент не может знать, по какую сторону этой границы находится файл, если вы ему не скажете, поэтому удаление всегда должно быть запросом, который он передаёт вам.

Как решить, что поручить агенту

Для любой задачи, которую вы думаете передать агенту, пять вопросов помогают определить нужный уровень.

1. Можно ли это отменить? Если ошибку можно исправить за минуту, агент может действовать, а вы — проверить позже. Если нет, он готовит, а вы одобряете.
2. Кто увидит результат? Всё, что попадает к клиенту, поставщику, сотруднику или в госорган, сначала должен увидеть человек.
3. Касается ли это денег или персональных данных? Если да, дайте агенту минимальный доступ, достаточный для работы, а шаги с серьёзными последствиями оставьте на одобрение.
4. Откуда берутся входные данные? Агент, который читает письма от незнакомых людей, не должен сам иметь возможность платить, отправлять или удалять — из-за риска prompt injection.
5. Можно ли быстро это проверить? Если одобрение занимает столько же времени, сколько сама работа, на этой задаче агент не экономит вам время.

NCSC добавляет вопрос, который стоит задать раньше всех остальных: действительно ли здесь нужен ИИ или процесс можно упростить либо автоматизировать менее рискованным способом? Он советует начинать с жёстко ограниченных пилотов на чётко определённых задачах и расширять охват, только когда вы доверяете результатам. Разложить собственные задачи по этим уровням — главная часть размышлений, и именно с такой работой Evoogen помогает малому бизнесу.

Сколько это стоит

Программы часто оказываются меньшей частью затрат. На время исследовательской предварительной версии Claude Duet входит в тарифы Pro и Max без доплаты. Он расходует лимиты этого тарифа, включая фоновые проверки, поэтому лимит может закончиться раньше. На тарифах Team и Enterprise его пока нет. Gusto сообщает, что за подключение к ChatGPT или Claude отдельной платы нет, хотя на этих платформах нужен тариф с нужными функциями. Stripe указывает, что у финансового счёта Treasury нет ежемесячной платы и требований к минимальному остатку. Отправка денег оплачивается отдельно. В тарифах Stripe Global Payouts (комиссии списываются с финансового счёта) указано £0.50 за местный банковский перевод в Великобритании и $1.50 — в США, плюс комиссии за трансграничный перевод и конвертацию валюты, если они применяются. Цены за место на сами ИИ-инструменты есть в нашем материале о том, сколько небольшая команда платит за одно место.

Реальные затраты — это ваше время на проверку, время на правильную настройку доступа и правил и цена ошибки, которая проскочит.

Расчётный пример (гипотетический). Допустим, компания оплачивает 40 счетов поставщиков в месяц, а проверка и ввод каждого занимают около 6 минут, то есть 4 часа в месяц. Допустим также, что, когда платежи готовит агент, одобрение каждого занимает около 1,5 минуты, то есть 1 час в месяц. Экономия — около 3 часов в месяц. Если час времени владельца стоит £40, это около £120 в месяц. Теперь допустим, что один перенаправленный мошенниками платёж на £5000 проходит, потому что агенту разрешили платить самостоятельно. Одна такая потеря перечёркивает примерно 42 месяца, то есть три с половиной года, сэкономленного времени. Эти цифры — допущения для иллюстрации, а не измерения, но именно из-за такой арифметики шаг одобрения окупается.

Как выглядит хорошо настроенный агент

• Запросы на одобрение, по которым действительно можно принять решение. В запросе указаны точная сумма, получатель платежа, адресат или текст, а не расплывчатое описание. По словам Anthropic, Claude Duet показывает, что именно собирается сделать, и сообщает, из какого письма, файла или таблицы взято число.
• Контроль находится в системе, которая перемещает деньги. OWASP советует проверять права в той системе, где выполняется действие, а не полагаться на то, что ИИ сам решит, допустимо ли оно. Одобрения, настроенные в банке, платёжной системе или системе расчёта зарплаты, работают, даже если агент запутался.
• Минимальный доступ. Только чтение там, где это возможно, запись — только там, где этого требует задача, и по возможности без долгоживущих учётных данных, как рекомендует NCSC.
• Назначенный ответственный и способ остановить агента. NCSC говорит, что ещё до подключения агента к реальным системам вы должны знать, кто им владеет, кто одобряет его доступ, кто за ним следит и кто может его остановить. Его прямолинейный критерий: «Если вы не можете понять, отслеживать или сдерживать действия агента, он не готов к развёртыванию».
• Прочитанные условия обработки данных. Gusto отмечает, что после того, как данные попали в ChatGPT или Claude, действуют условия конфиденциальности этой платформы, а не Gusto, и просит пользователей потребительских аккаунтов сначала отключить использование данных для обучения моделей. В отчёте Tech Futures об агентном ИИ, который ICO называет своими первыми соображениями, британский регулятор по защите данных пишет, что организации остаются ответственными за соблюдение требований о защите данных агентами, которых они запускают, и указывает на системы, подключённые к ненужным им данным или не имеющие способа отслеживать и останавливать их работу.
• Одобрения, которые не теряют смысла. Если вы ловите себя на том, что десятки раз в день нажимаете «одобрить», не читая, контроль перестал работать. Переведите рутинные малорисковые действия на уровень ниже или сократите то, что готовит агент, вместо того чтобы одобрять вслепую.

Итог

Инструменты для агентов, анонсированные и обновлённые на этой неделе, полезны там, где они могут готовить реальную работу внутри систем, которыми вы уже пользуетесь. Отдайте им чтение, сортировку, черновики и подготовку. Платежи, письма клиентам, удаление, подписи и изменение банковских реквизитов держите за одобрением, которое вы действительно читаете, а самые рискованные изменения вообще не доверяйте агенту. Начните с одной ограниченной задачи, проверяйте результаты несколько недель и расширяйте доступ, только когда это подтверждают факты.

Если вы хотите, чтобы это было настроено в вашем бизнесе, Evoogen может разобрать ваши рабочие процессы, вместе с вами решить, что агент может делать сам, а что требует вашего одобрения, и внедрить всё это с одобрениями, ограничениями доступа и журналами действий. Узнать, чем Evoogen может помочь.