Na chwilę obecną na rynku mamy czterech, liczących się wirtualnych asystentów: Google Assistant, Siri, Cortanę i Alexe. Firma badawcza Loup Ventures postanowiła sprawdzić, który z nich jest najbardziej inteligentny. W jaki sposób przeprowadzono test? Po prostu… zadając asystentom najrozmaitsze pytania.
Test: 800 pytań na „głowę”
Każdemu z asystentów przedstawiono aż 800 zapytań. Asystent Google odpowiedział na najwięcej z nich bo aż 86%. Tuż za nim uplasowała się apple’owska Siri z wynikiem 79%, następnie Alexa (61%) i Cortana, która poradziła sobie z nieco ponad połową zapytań (52%).
W stosunku do poprzedniego badania, zrealizowanego przez Loup Ventures w kwietniu 2017 roku, wszyscy asystenci poprawili się jednak zarówno pod względem rozumienia poleceń jak i ich wykonywalności (o od 1 do nawet 10%). Test odbywał się oczywiście w języku angielskim na smartfonach z iOS i Androidem.
O co pytano asystenów?
Pytania badaczy, jak można się domyślić, testowały przede wszystkim umiejętności i użyteczność asystentów w życiu codziennym. Podzielono je na 5 kategorii:
- lokale (np. Gdzie jest najbliższa kawiarnia?),
- handel (np. Czy możesz zamówić dla mnie więcej papierowych ręczników),
- nawigacja (np. Jak mogę dostać się na przedmieście autobusem?),
- informacje (Who do the Twins play tonight?),
- komendy (np. Przypomnij mi, żebym zadzwonił dziś o 14:00 do Steve’a).
Asystenci rozumieją już praktycznie wszystko co do nich mówimy
Reakcję asystenta rozpatrywana była pod kątem tego czy zrozumiał zapytanie oraz, czy dostarczył odpowiedniej odpowiedzi. Naturalnie w tym pierwszym przypadku wyniki okazały się zdecydowanie lepsze. Asystent Google zrozumiał wszystkie 800 zapytań, Siri 99% z nich, a Alexa i Cortana po 98% (kolejno 11, 13 i 19 niezrozumianych zapytań).
Należy zaznaczyć przy tym, że od ostatniego testu, zespół przeprowadzający badanie zmienił zestawy pytań, uwzględniając płynny rozwój możliwości asystentów. Mimo wszystko we wszystkich kategoriach, z wyjątkiem Nawigacji, poradzili sobie oni lepiej niż przed rokiem. Większość nieporozumień w przypadku tej kategorii wynikała natomiast z błędnego odczytania kluczowego rzeczownika np. nazwy miasta lub lokalu. Rozpoznawanie pozostałych fragmentów poleceń działało jednak wręcz perfekcyjnie.
Źródło:
loupventures.com