Ładniejszy obraz nie zawsze jest lepszy
Jeden obraz z AI był ładniejszy, ale byłem na nim mniej podobny do siebie. Dlaczego kryteria oceny ustalam przed wygenerowaniem wyniku.
Podczas szkolenia porównałem dwa obrazy wygenerowane w ChatGPT i w Gemini na podstawie tego samego prompta i tego samego zdjęcia. Jeden wynik bardziej podobał mi się wizualnie: kolory, światło i detale wyglądały ciekawiej. Jednocześnie miałem wrażenie, że przedstawiona osoba była mniej podobna do mnie. Na ten obraz czekaliśmy też dłużej.
Najładniejszy rezultat nie musi najlepiej realizować celu.
No więc który wynik był lepszy?
To pytanie wygląda na proste, dopóki nie trzeba nazwać kryteriów. Jeśli zależy mi na rozpoznawalnej postaci, podobieństwo może mieć większą wagę niż efektowne oświetlenie. Jeśli potrzebuję szybkiego szkicu do rozmowy, czas ma znaczenie. Jeśli tworzę ilustrację bez potrzeby zachowania tożsamości osoby, mogę wybrać bardziej atrakcyjną kompozycję.
Jedna próba to nie ranking
W tej próbie uczestnicy też mogli mieć różne preferencje. To nie był kontrolowany benchmark, czyli systematyczny test porównawczy. Pokazaliśmy pojedyncze wyniki. Nie ma podstaw, żeby na tej podstawie ogłosić uniwersalnego zwycięzcę.
Tak samo podchodzę do pytania „które AI jest najlepsze?”. Chcę najpierw wiedzieć, do czego. W raporcie interesują mnie inne cechy niż w grafice, a w poprawianiu arkusza jeszcze inne. W każdym przypadku trzeba uwzględnić także czas potrzebny na sprawdzenie i poprawki.
Kryteria przed generowaniem
Praktyczny test można zacząć od kilku własnych, typowych zadań. Dla każdego ustalić przed generowaniem, co będzie oznaczało dobry wynik. Przy portrecie: podobieństwo, zgodność z poleceniem, liczba błędów i czas. Przy analizie dokumentu: poprawne ustalenia, wskazanie braków oraz możliwość odnalezienia podstawy w źródle.
Ważne, żeby kryteria nie zmieniały się po zobaczeniu efektu tylko dlatego, że jeden z modeli zrobił coś widowiskowego. Ładny obraz może odciągnąć uwagę od błędnej postaci. Elegancki raport może odciągnąć ją od słabych danych.
W szkoleniowym porównaniu najbardziej podobało mi się właśnie to, że wynik nie dawał jednej oczywistej odpowiedzi. Można było zobaczyć kompromis. I o taki osąd chodzi w pracy z AI: umieć powiedzieć, który rezultat lepiej służy konkretnemu zadaniu, oraz wskazać, co trzeba jeszcze poprawić.
Co z tego wynika dla firmy
Przy ocenie obrazów z AI można rozdzielić kryteria: zgodność z briefem, podobieństwo do materiału referencyjnego, czytelność, estetykę i czas poprawek. Wtedy wybór nie sprowadza się do pierwszego wrażenia.