Asystent Google inteligentniejszy niż Siri? Tak wynika z przeprowadzonego testu

 

Na chwilę obecną na rynku mamy czterech, liczących się wirtualnych asystentów: Google Assistant, Siri, Cortanę i Alexe. Firma badawcza Loup Ventures postanowiła sprawdzić, który z nich jest najbardziej inteligentny. W jaki sposób przeprowadzono test? Po prostu… zadając asystentom najrozmaitsze pytania.

Test: 800 pytań na “głowę”

Każdemu z asystentów przedstawiono aż 800 zapytań. Asystent Google odpowiedział na najwięcej z nich bo aż 86%. Tuż za nim uplasowała się apple’owska Siri z wynikiem 79%, następnie Alexa (61%) i Cortana, która poradziła sobie z nieco ponad połową zapytań (52%).

W stosunku do poprzedniego badania, zrealizowanego przez Loup Ventures w kwietniu 2017 roku, wszyscy asystenci poprawili się jednak zarówno pod względem rozumienia poleceń jak i ich wykonywalności (o od 1 do nawet 10%). Test odbywał się oczywiście w języku angielskim na smartfonach z iOS i Androidem.

O co pytano asystenów?

Pytania badaczy, jak można się domyślić, testowały przede wszystkim umiejętności i użyteczność asystentów w życiu codziennym. Podzielono je na 5 kategorii:

  • lokale (np. Gdzie jest najbliższa kawiarnia?),
  • handel (np. Czy możesz zamówić dla mnie więcej papierowych ręczników),
  • nawigacja (np. Jak mogę dostać się na przedmieście autobusem?),
  • informacje (Who do the Twins play tonight?),
  • komendy (np. Przypomnij mi, żebym zadzwonił dziś o 14:00 do Steve’a).

Asystenci rozumieją już praktycznie wszystko co do nich mówimy

Reakcję asystenta rozpatrywana była pod kątem tego czy zrozumiał zapytanie oraz, czy dostarczył odpowiedniej odpowiedzi. Naturalnie w tym pierwszym przypadku wyniki okazały się zdecydowanie lepsze. Asystent Google zrozumiał wszystkie 800 zapytań, Siri 99% z nich, a Alexa i Cortana po 98% (kolejno 11, 13 i 19 niezrozumianych zapytań).

Należy zaznaczyć przy tym, że od ostatniego testu, zespół przeprowadzający badanie zmienił zestawy pytań, uwzględniając płynny rozwój możliwości asystentów. Mimo wszystko we wszystkich kategoriach, z wyjątkiem Nawigacji, poradzili sobie oni lepiej niż przed rokiem. Większość nieporozumień w przypadku tej kategorii wynikała natomiast z błędnego odczytania kluczowego rzeczownika np. nazwy miasta lub lokalu. Rozpoznawanie pozostałych fragmentów poleceń działało jednak wręcz perfekcyjnie.

Siri najlepsza w wykonywaniu poleceń, Google w wyszukiwaniu informacji

Siri okazała się najlepsza w wykonywaniu zapytań z kategorii Komenda, zadawanych elastycznym językiem, niekoniecznie surowymi poleceniami. Z jej pomocą łatwiej, niż np. w przypadku Asystenta Google, obsługiwało się telefon, urządzenia smart home czy odtwarzacz muzyki.

Broszką Asystenta Google okazała się kategoria Informacja. Asystentowi udało się odpowiedzieć na 93% zadanych w jej ramach zapytań, co zaskoczyło nawet samych badaczy. Ten świetny wynik pozostaje oczywiście zasługą sprzęgnięcia z wyszukiwarką Google, w której Asystent prezentuje podsumowania odpowiedzi na zadane mu pytania, a także samodzielnie je odczytuje, zamiast jedynie wyświetlić znalezione linki.

Zarówno Siri jak i Asystent Google świetnie radzili sobie także w kwestii nawigacji i wyszukiwaniu lokali. Byli także bardziej świadomi kontekstu zadawanych poleceń, niż Alexa czy Cortana. Chodzi tu głównie o sytuacje, w których asystent na przykładową komendę “co mam na dzisiaj zaplanowane w kalendarzu?” odpowiada “twoje następne spotkanie ma mieć miejsca za 20 minut w Starbucksie na ulicy XYZ. Dotarcie tam zajmie Ci 15 minut jeśli wsiądziesz w autobus, mogę wyświetlić wskazówki dojazdu na ekranie”.

Czy już niedługo asystenci będą w stanie odpowiadać na wszystkie zadane pytania?

Biorąc pod uwagę poczynione w ciągu roku postępy, wydawałoby się to możliwe. Prawdopodobnie minie jednak jeszcze mnóstwo czasu, zanim inteligentni asystenci będą w stanie na tyle swobodnie rozumieć i przetwarzać język. Na chwilę obecną przewagę w tym względzie mają bazujący na smartfonach Siri i Asystent Google, podczas gdy Alexa i Cortana, pozostają w tej technologicznej rywalizacji nieco w tyle.

Via:
venturebeat.com

Źródło:
loupventures.com


  
  
. .