Компания OpenAI добавила в приложение Codex для macOS функцию Computer Use, которая позволяет ИИ-агенту взаимодействовать с программами на компьютере, даже если экран устройства выключен или заблокирован.

Разработчики сообщили, что пользователи смогут отправлять задачи Codex со смартфона, после чего ИИ будет работать с приложениями на Mac удалённо. На экране заблокированного компьютера при этом отображается уведомление о том, что Codex использует устройство.

Для работы функции необходимо установить плагин Computer Use и выдать ему разрешения на запись экрана и управление системой через Accessibility. После этого Codex сможет открывать окна, вводить текст, перемещаться по меню и работать с буфером обмена в приложениях, доступ к которым одобрил пользователь.

В OpenAI заявили, что новая возможность пригодится для задач, которые сложно выполнить через командную строку — например, для воспроизведения ошибок в графическом интерфейсе, изменения настроек приложений или тестирования сценариев в десктопных программах.

Перед первым запуском каждого приложения Codex запрашивает разрешение пользователя. Также можно включить режим постоянного доступа для отдельных программ. На старте функция недоступна в странах Европейской экономической зоны, Великобритании и Швейцарии. Кроме того, Codex не может управлять Terminal, самим собой и системными окнами с правами администратора.

Одновременно с этим OpenAI представила функцию Appshots, которая позволяет добавлять в диалог Codex скриншоты и текст из окон приложений через сочетание клавиш Command-Command. Также появился режим /goal, при котором ИИ-агент способен продолжать выполнение задачи в течение нескольких часов или дней.