В ChatGPT для Mac нашли скрытые настройки ИИ-агента Operator

Тибор Блахо, инженер-программист, известный точными утечками об ИИ-продуктах, заявил, что обнаружил доказательства существования инструмента Operator. Ранее о разработке Operator сообщали такие издания, как Bloomberg и TechCrunch. Этот инструмент описывается как «агентная система», способная автономно выполнять задачи, например, писать код или бронировать поездки.

В приложении ChatGPT для Mac были обнаружены скрытые настройки, связанные с управлением этим агентом, которые позволяют предположить, что релиз может состояться в ближайшее время.

Кроме того, на сайте OpenAI обнаружены упоминания об Operator, хотя они пока недоступны для широкой публики.

Первые данные о производительности Operator

На официальном сайте также была размещена таблица, сравнивающая производительность Operator с другими AI-системами, такими как Claude 3.5 Sonnet и Google Mariner.

Согласно утечке, Operator успешно справляется с некоторыми задачами, но его возможности всё ещё ограничены. Например, в тестах OSWorld, имитирующих реальную среду работы компьютера, ИИ достиг результата в 38,1%, что выше, чем у конкурирующей модели Anthropic, но значительно ниже человеческого уровня, который составляет 72,4%. В веб-тестах WebVoyager Operator обогнал человека, но в другом тесте, WebArena, выступил хуже.

Некоторые практические задачи также оказались сложными для агента. Так, при создании биткоин-кошелька успешность составила всего 10%, а при регистрации в облачном сервисе и запуске виртуальной машины — 60%.

Конкуренция ИИ-агентов

Релиз Operator становится особенно важным на фоне растущей конкуренции в области ИИ-агентов. Компании, такие как Google и Anthropic, уже работают над своими инструментами. По данным аналитиков, рынок ИИ-агентов может достичь 47,1$ миллиарда к 2030 году. Однако вместе с этим возникают и вопросы безопасности. Некоторые эксперты считают, что такие технологии могут представлять риск, если их развитие пойдёт слишком быстро.

Согласно данным, Operator успешно проходит тесты безопасности, включая предотвращение выполнения «незаконных действий» и поиска «доступа к конфиденциальной информации». Это может объяснить длительный цикл разработки инструмента, так как OpenAI, судя по всему, делает акцент на безопасность.