Asystent Google inteligentniejszy niż Siri? Tak wynika z przeprowadzonego testu
Na chwilę obecną na rynku mamy czterech, liczących się wirtualnych asystentów: Google Assistant, Siri, Cortanę i Alexe. Firma badawcza Loup Ventures postanowiła sprawdzić, który z nich jest najbardziej inteligentny. W jaki sposób przeprowadzono test? Po prostu… zadając asystentom najrozmaitsze pytania.
Test: 800 pytań na „głowę”
Każdemu z asystentów przedstawiono aż 800 zapytań. Asystent Google odpowiedział na najwięcej z nich bo aż 86%. Tuż za nim uplasowała się apple’owska Siri z wynikiem 79%, następnie Alexa (61%) i Cortana, która poradziła sobie z nieco ponad połową zapytań (52%).
W stosunku do poprzedniego badania, zrealizowanego przez Loup Ventures w kwietniu 2017 roku, wszyscy asystenci poprawili się jednak zarówno pod względem rozumienia poleceń jak i ich wykonywalności (o od 1 do nawet 10%). Test odbywał się oczywiście w języku angielskim na smartfonach z iOS i Androidem.
O co pytano asystenów?
Pytania badaczy, jak można się domyślić, testowały przede wszystkim umiejętności i użyteczność asystentów w życiu codziennym. Podzielono je na 5 kategorii:
- lokale (np. Gdzie jest najbliższa kawiarnia?),
- handel (np. Czy możesz zamówić dla mnie więcej papierowych ręczników),
- nawigacja (np. Jak mogę dostać się na przedmieście autobusem?),
- informacje (Who do the Twins play tonight?),
- komendy (np. Przypomnij mi, żebym zadzwonił dziś o 14:00 do Steve’a).
Asystenci rozumieją już praktycznie wszystko co do nich mówimy
Reakcję asystenta rozpatrywana była pod kątem tego czy zrozumiał zapytanie oraz, czy dostarczył odpowiedniej odpowiedzi. Naturalnie w tym pierwszym przypadku wyniki okazały się zdecydowanie lepsze. Asystent Google zrozumiał wszystkie 800 zapytań, Siri 99% z nich, a Alexa i Cortana po 98% (kolejno 11, 13 i 19 niezrozumianych zapytań).
Należy zaznaczyć przy tym, że od ostatniego testu, zespół przeprowadzający badanie zmienił zestawy pytań, uwzględniając płynny rozwój możliwości asystentów. Mimo wszystko we wszystkich kategoriach, z wyjątkiem Nawigacji, poradzili sobie oni lepiej niż przed rokiem. Większość nieporozumień w przypadku tej kategorii wynikała natomiast z błędnego odczytania kluczowego rzeczownika np. nazwy miasta lub lokalu. Rozpoznawanie pozostałych fragmentów poleceń działało jednak wręcz perfekcyjnie.
Siri najlepsza w wykonywaniu poleceń, Google w wyszukiwaniu informacji
Siri okazała się najlepsza w wykonywaniu zapytań z kategorii Komenda, zadawanych elastycznym językiem, niekoniecznie surowymi poleceniami. Z jej pomocą łatwiej, niż np. w przypadku Asystenta Google, obsługiwało się telefon, urządzenia smart home czy odtwarzacz muzyki.
Broszką Asystenta Google okazała się kategoria Informacja. Asystentowi udało się odpowiedzieć na 93% zadanych w jej ramach zapytań, co zaskoczyło nawet samych badaczy. Ten świetny wynik pozostaje oczywiście zasługą sprzęgnięcia z wyszukiwarką Google, w której Asystent prezentuje podsumowania odpowiedzi na zadane mu pytania, a także samodzielnie je odczytuje, zamiast jedynie wyświetlić znalezione linki.
Zarówno Siri jak i Asystent Google świetnie radzili sobie także w kwestii nawigacji i wyszukiwaniu lokali. Byli także bardziej świadomi kontekstu zadawanych poleceń, niż Alexa czy Cortana. Chodzi tu głównie o sytuacje, w których asystent na przykładową komendę „co mam na dzisiaj zaplanowane w kalendarzu?” odpowiada „twoje następne spotkanie ma mieć miejsca za 20 minut w Starbucksie na ulicy XYZ. Dotarcie tam zajmie Ci 15 minut jeśli wsiądziesz w autobus, mogę wyświetlić wskazówki dojazdu na ekranie”.
Czy już niedługo asystenci będą w stanie odpowiadać na wszystkie zadane pytania?
Biorąc pod uwagę poczynione w ciągu roku postępy, wydawałoby się to możliwe. Prawdopodobnie minie jednak jeszcze mnóstwo czasu, zanim inteligentni asystenci będą w stanie na tyle swobodnie rozumieć i przetwarzać język. Na chwilę obecną przewagę w tym względzie mają bazujący na smartfonach Siri i Asystent Google, podczas gdy Alexa i Cortana, pozostają w tej technologicznej rywalizacji nieco w tyle.
Via:
venturebeat.com
Źródło:
loupventures.com
