Microsoft и Hugging Face опубликовали руководство по использованию ThinkingBox через OpenEnv. Этот инструмент проверяет агентов по изменениям, которые они вносят в подключённые системы.
Что стало доступно
Фреймворк запускает агентов в изолированных средах с инструментами и оценивает результат. Интеграция OpenEnv предоставляет интерфейс для запуска тестовых эпизодов; сам фреймворк, данные тестов и вспомогательные сервисы остаются отдельными компонентами.
Что измеряет тест
Исследование охватывает 507 синтетических рабочих процессов, по 20 попыток на задачу. Оно различает отдельный успешный запуск и устойчивый успех при повторах. Проверяются нужные изменения и непредусмотренные побочные действия, а не убедительность ответа агента.
Ограничения перед внедрением
Это результаты тестов, сообщённые авторами, а не гарантия для конкретного бизнеса. Evoogen не воспроизводил исследование независимо. Работа над benchmark была опубликована раньше октябрьского руководства.
Первоисточник
В этом отчете кратко изложен материал указанного ниже источника. Аналитика приводится отдельно; заявления о продуктах и исследованиях атрибутируются их авторам.
Первоисточник Microsoft / Hugging Face