Відбувся запуск попереднього перегляду Operator – ШІ-агента для взаємодії з вебінтерфейсами

Американська компанія OpenAI повідомила про запуск нового інструмента – ШІ-агента Operator, який спроможний виходити в Інтернет і виконувати там широкий спектр задач: заповнювати форми, шукати квитки, бронювати готельний номер або столик у ресторані, здійснювати покупки, замовляти доставку та багато іншого. Користувачу потрібно лише описати задачу, яку треба буде виконати, а ШІ-помічник вже сам зробить всі необхідні для цього дії. Послідовність їх виконання він демонструватиме в невеликому віконці власного браузера, тому користувачі зможуть у будь-який момент внести якісь корективи.

Operator побудований на основі нової моделі під назвою Computer-Using Agent (CUA) або «агент, що користується комп’ютером», яка фактично поєднує в собі можливості «зору» GPT-4o та передовий механізм міркування, заснований на методі машинного навчання з підкріпленням. Це дозволяє їй взаємодіяти з графічними користувацькими інтерфейсами: кнопками, меню та текстовими полями, які відображаються на екрані користувачів.

Таким чином, завдяки моделі CUA ШІ-агент Operator може «бачити» інтерфейс браузера та «взаємодіяти» з ним без використання спеціальних API (Application Programming Interface): спочатку він робить знімок екрана та аналізує його, щоб визначити алгоритм необхідних дій, а вже потім за допомогою симуляції клавіатури та миші розпочинає безпосередню взаємодію з сайтами (виконує натискання, скролить, вводить текст).

Operator оснащений функцією самокорекції – коли стикається з якимись труднощами чи робить помилки, він здатен аналізувати свої дії та адаптивно корегувати їх. Якщо ж агент потрапляє в ситуацію, де від нього вимагають, наприклад, авторизуватися на сайті, ввести платіжні дані чи пройти тест CAPTCHA, то процес виконання задачі призупиняється та керування передається в руки користувача. Також втручання людини може знадобитися під час фінального підтвердження деяких операцій. Розробники зазначили, що коли користувач самостійно керує процесом, ШІ-помічник не робить ніяких скріншотів екрана та не збирає інформацію, яка вводиться, тому можна не хвилюватися про захищеність конфіденційних даних.

Агент надає користувачам змогу додавати власні інструкції як загалом для всіх сайтів, так і окремо для кожного з них, і тим самим персоналізувати свої робочі процеси. Наприклад, вони можуть налаштувати уподобання щодо авіакампаній на Booking.com. Крім того, він дозволяє зберігати на головній сторінці задачі, які необхідно буде виконувати регулярно. Це спростить їх запуск надалі, адже користувачу не доведеться робити кожного разу нові запити для створення однієї та тієї ж самої задачі.

Наразі Operator знаходиться на ранній стадії дослідження, тому поки що його запустили в режимі попереднього перегляду та лише для користувачів із США, які мають підписку за тарифним планом Pro. Зі слів розробників, вони зацікавлені в ітеративному, а головне безпечному розгортанні свого цифрового продукту та вважають, що завдяки обмеженому попередньому перегляду швидше навчатимуться й зможуть вдосконалити можливості свого ШІ-помічника. Хоча агент вже здатен виконувати широкий спектр задач, він досі продовжує стикатися з різними труднощами та робити помилки, наприклад, при роботі зі складними інтерфейсами, такими як створення слайд-шоу чи керування календарем, тому ранні відгуки користувачів допоможуть розробникам підвищити його точність, зручність та надійність. В майбутньому OpenAI планує надати доступ ще й користувачам із тарифними планами Plus, Team і Enterprise, а коли будуть повністю впевнені, що Operator є безпечним та зручним у використанні – інтегрують його можливості в ChatGPT.