Apple выпустила искусственный интеллект MGIE с использованием MLLM — мультимодальных больших языковых моделей.
Модель разрабатывалась совместно с Калифорнийским университетом и имеет открытый исходный код, VentureBeat. Она даёт возможность редактировать фотографии при помощи текстовых команд.
MGIE позволяет изменять яркость, контраст и прочие показатели изображения вроде резкости и цветового баланса. Также модель даёт возможность изменять размер, цвет или форму конкретных объектов или областей изображения.
Более того, к картинке можно применять различные эффекты, изменять фон, цвет объектов (например, для изменения цвета волос, машины или даже моря). При необходимости можно добавлять объекты или удалять уже существующие (например, чтобы убрать лишнего человека).
Код новой разработки от Apple на GitHub. Испытать демо-версию MGIE можно для исследователей машинного обучения Hugging Face Spaces.
Важно помнить, что модель поддерживает только английский язык. На момент выхода заметки поступает большое количество запросов, поэтому скорость работы снижена.