Apple stworzyło sieć neuronową, która potrafi “photoshopować” obrazy na podstawie opisów tekstowych
Naukowcy Apple opracowali nowy model sztucznej inteligencji, który pozwala użytkownikom opisać, co chcą zmienić na zdjęciu w prostym języku. Jednocześnie można edytować obrazy bez konieczności korzystania z oprogramowania do edycji zdjęć.
Model MGIE (MLLM-Guided Image Editing), nad którym Apple pracowało we współpracy z Uniwersytetem Kalifornijskim w Santa Barbara, umożliwia przycinanie, zmianę rozmiaru, obracanie i dodawanie filtrów do obrazów za pomocą podpowiedzi tekstowych. Model ten może być również używany do bardziej złożonych zadań edycji obrazu, takich jak zmiana kształtu niektórych obiektów na zdjęciu w celu nadania im innego kształtu lub rozjaśnienia.
MGIE łączy w sobie dwa różne typy multimodalnych modeli językowych. Po pierwsze, uczy się interpretować podpowiedzi użytkownika. Następnie “wyobraża” sobie, jak będzie wyglądać edycja (na przykład prośba o bardziej niebieskie niebo na zdjęciu skutkuje zwiększeniem jasności części obrazu z niebem).
Podczas edycji zdjęcia za pomocą MGIE użytkownicy muszą po prostu wydrukować to, co chcą zmienić na obrazie. Na przykład, edytując obraz pizzy pepperoni, można wpisać polecenie “uczyń ją zdrowszą”, a model doda dodatki warzywne. Zdjęcie tygrysów na Saharze wygląda na ciemne, ale po tym, jak modelom kazano “dodać więcej kontrastu, aby zasymulować więcej światła”, obraz stał się jaśniejszy.
“Zamiast krótkich, ale niejednoznacznych instrukcji, MGIE wykrywa wyraźne intencje wizualne i prowadzi do inteligentnej edycji obrazu” – twierdzą naukowcy w artykule.
Apple udostępniło MGIE do pobrania za pośrednictwem GitHub, a także udostępniło internetową wersję demonstracyjną Hugging Face Spaces. Firma nie sprecyzowała swoich przyszłych planów dotyczących tego modelu.
