Prawda czy halucynacja? Ciemna strona odpowiedzi generowanych przez AI
Najnowsze badanie dziennika The New York Times, przeprowadzone we współpracy z firmą analityczną Oumi, obnaża niewygodną prawdę o automatycznych odpowiedziach generowanych przez Google na pierwszej stronie wyników wyszukiwania. Badacze odkryli, że system wyświetla poprawne informacje w blisko 90 proc. przypadków. Wskaźnik błędu na poziomie około 10 proc. przy tej skali zapytań oznacza miliardy błędnych odpowiedzi rocznie.
Stephen Punwasi, analityk danych z Toronto, szykował się do kolacji, gdy jego uwagę przykuł nagłówek sugerujący, że żona wrestlera Hulka Hogana rozważa pozew w związku z jego śmiercią. Zaintrygowany, skierował pytanie do najpopularniejszej wyszukiwarki na świecie, by dowiedzieć się, kiedy dokładnie doszło do zgonu gwiazdora. Odpowiedź, która pojawiła się nad wynikami wyszukiwania, była jednoznaczna: nie istnieją żadne wiarygodne doniesienia o śmierci Hogana. Rzecz w tym, że tuż pod tym kategorycznym stwierdzeniem znajdował się link do artykułu na stronie Daily Mail, którego nagłówek wieścił coś zupełnie innego.
Sztuczna inteligencja ślepa jak kret
Tą anegdotą The New York Times rozpoczyna artykuł, w którym na konkretnych przykładach pokazuje błędy i nieścisłości w automatycznych odpowiedziach generowanych przez funkcję AI Overviews. O ile w przypadku modelu Gemini 2 błędnych odpowiedzi zanotowano aż 15 proc., o tyle w nowszej wersji Gemini 3 było ich już znacznie mniej, lecz wciąż dużo, bo aż 9 proc. Autorzy badania ujawniają nie tylko skalę zjawiska, lecz także głębszy problem, określany przez ekspertów jako brak oparcia w źródłach. Nawet gdy odpowiedzi generowane przez model Gemini 3 są poprawne, to w 56 przypadkach na 100 towarzyszące im linki nie stanowią dla nich żadnego potwierdzenia. Prowadzi to do kuriozalnych sytuacji, które amerykańscy dziennikarze udokumentowali jako dowód na nagminny brak spójności między generowaną treścią a źródłami.
Algorytm potrafił na przykład kategorycznie stwierdzić, że organizacja “American Classical Music Hall of Fame” nie istnieje, mimo że w tym samym oknie wyświetlał link prowadzący bezpośrednio do jej oficjalnej witryny. Podobne halucynacje dotyczyły daty otwarcia Muzeum Boba Marleya czy topografii rzek w Karolinie Północnej. Google, czerpiąc wiedzę z portali, wypowiedzi publikowanych na forach internetowych, mediów społecznościowych oraz wpisów z Wikipedii, tworzy nowy, syntetyczny obraz rzeczywistość. Często ma ona niewiele wspólnego z faktami. Skąd ta rozbieżność?
– Nasze oczekiwania wobec sztucznej inteligencji są nierealistyczne. Ukształtowały je Hollywood i korporacyjny marketing. Duże modele językowe nie sprawdzają faktów, tak jak robią to ludzie, ani nie budują odpowiedzi poprzez weryfikację źródeł krok po kroku. Ich podstawowym mechanizmem jest przewidywanie najbardziej prawdopodobnej sekwencji słów na podstawie ogromnych zbiorów danych treningowych. Sztuczna inteligencja nie wie, czy “American Classical Music Hall of Fame” istnieje, i nie możemy od niej tej wiedzy oczekiwać. Jej rola sprowadza się jedynie do generowania odpowiedzi, statystycznie najlepiej pasującej do kontekstu pytania i wzorców, które widziała wcześniej – tłumaczy Marcin Stypuła z Semcore, jednej z najskuteczniejszych polskich agencji SEO.
Gemini łyknął hot doga
Ryzyko manipulacji tą nową architekturą informacji doskonale obrazuje eksperyment Thomasa Germaina, dziennikarza technologicznego, który postanowił sprawdzić, jak łatwo oszukać cyfrowego giganta. Germain opublikował na swojej stronie zmyśloną historię o fikcyjnych zawodach w jedzeniu hot dogów, w których rzekomo zajął pierwsze miejsce. Już następnego dnia sztuczna inteligencja od Google cytowała go jako czołowego eksperta w tej osobliwej dyscyplinie, podając zmyślone informacje jako pewnik.
– Jeśli proces budowania autorytetu w sieci można tak łatwo zmanipulować za pomocą jednego postu na blogu, to wiarygodność dużych modeli językowych staje pod znakiem zapytania. W świecie, gdzie algorytm bezkrytycznie powiela błędy, granica między rzetelną informacją a dezinformacją staje się niewidoczna. Wprawdzie koncern z Mountain View zabezpiecza się prawnie, dyskretnie informując, że sztuczna inteligencja może się mylić. Jest to jednak słaba pociecha dla użytkownika, który oczekuje precyzji – uważa założyciel agencji Semcore.
Pierwsze ofiary rewolucji
Problem polega również na tym, że instytucje, które z założenia powinny zajmować się weryfikacją informacji, spychane są przez Google na margines. Raport firmy Define Media Group, bazujący na analizie 64 dużych redakcji internetowych, pokazuje brutalną skuteczność, z jaką Google pozbawia wydawców ruchu organicznego. Od momentu pełnego wdrożenia funkcji AI Overviews, liczba odwiedzin z wyszukiwarki spadła średnio o 42 procent. Tradycyjny ruch typu „evergreen”, oparty na poradnikach i wiedzy encyklopedycznej, maleje w zatrważającym tempie. Zamiast klikać w przedstawione linki, użytkownik otrzymuje gotową – choć nie zawsze prawdziwą – odpowiedź i już nie czuje potrzeby, aby zagłębiać się w źródła.
Łyżką miodu w tej beczce dziegciu jest wzrost ruchu na stronach związanych z bieżącymi wydarzeniami. Przekierowania z wyszukiwarki na teksty o charakterze newsowym skoczyły o 103 proc., i nie jest to przypadek. Sztuczna inteligencja Google konsekwentnie unika tematów, w których rzeczywistość zmienia się szybciej niż cykl aktualizacji modelu. Relacjonowanie konfliktów zbrojnych czy zawirowań na giełdzie pozostaje domeną dziennikarzy, bo koszt pomyłki jest tu po prostu zbyt wysoki. Zdaje się jednak, że to tylko kwestia czasu, zanim i ten bastion zostanie zdobyty.
