Siri、Google Assistant、Alexaの知能テスト結果

WWDC19 Siri

WWDC19 Siri
 
Google Assistant、Siri、Alexaのデジタルアシスタントに、それぞれ800の質問をした結果を、投資会社Loup Venturesのジーン・ミュンスター氏らが公表しました。

デジタルアシスタントの知能テスト

テストは、iOS12.4のSiri、Android 9 Pieが動作するPixel XLのGoogle Assistant、iOSアプリのAlexaで行われました。
 
以下の5カテゴリに分類される質問について、「質問を正しく理解できたか」(理解率)と「正しく回答できたか」(正答率)で評価しています。
 

  • 周辺地域の理解(Local)例:「一番近いコーヒーショップは?」
  • Eコマース能力(Commerce)例:「キッチンペーパーをもっと注文して」
  • ナビゲーション(Navigation)例:「アップタウンにバスでいく方法は?」
  • 情報(Information)例:「今夜『Twins』を主演する俳優は?」
  • 命令(Command)例:「今日の午後2時にジェロームに電話することを思い出させて」

 
ミュンスター氏らは、スマートフォンとスマートスピーカーではデジタルアシスタントの用途、ディスプレイの有無といった条件によって結果が異なるため、テストを分けて実施しており、今回はスマートフォンを対象としています。
 
なお、Cortanaは、Microsoftが2019年初めにCortanaの開発方針変更を発表したことを受けて除外した、とのことです。

年々伸びる正答率、今年もGoogle Assistantがトップ

理解率は、Google Assistantが100%、Alexaは99.9%、Siriは99.8%と、いずれもほぼすべての質問内容を理解しています。
 
正答率は、Google Assistantが92.9%、Siriが83.1%、Alexaが79.8%でした。
 
LoupVentures 2019年8月 デジタルアシスタント知能テスト
 
ミュンスター氏らは、同様の調査を2017年と2018年にも実施していますが、理解率は2018年の時点で現在とほぼ同水準に達しているのに対して、正答率は以下のように上昇を続けています。
 

  • Google Assistant:74.8%→85.5%→92.9%
  • Siri:66.1%→78.5%→83.1%
  • Alexa:61.4%→79.8%(2017年は調査対象外)

 
LoupVentures 2017 2018 比較
 

「命令」に強いSiri

カテゴリ別に正答率を比較すると、各デジタルアシスタントの得意分野が見えてきます。
 
5カテゴリのうち4カテゴリで、Google Assistantがトップの正答率となっており、「命令」ではSiriがGoogle Assistantを抜いて昨年と同じくトップに立っています。
 
Siriが「命令」に強い傾向についてミュンスター氏は、SiriがiPhoneで使われる電話、メッセージ、予定、音楽といった使い方に強いことが示された、とコメントしています。
 
最も差が開いたのは「Eコマース能力」カテゴリで、正答率はGoogle Assistantが92%、Alexaが71%、Siriが68%となっています。
 
LoupVentures 2019年8月 デジタルアシスタント知能テスト
 

各デジタルアシスタントとも順調な伸び

各デジタルアシスタントの、5カテゴリにおける正答率の推移を示したのが以下のグラフです。
 
Google Assistant、Siri、Alexaとも、正答率が着実に上昇しており、特にAlexaは最近1年間で正答率を大きく伸ばしていることがわかります。Google AssistantとSiriは、2年連続で「Eコマース能力」が目立って伸びています。
 
LoupVentures 2019年8月 デジタルアシスタント知能テスト
 
 
Source:Loup Ventures via iDropNews
(hato)

--PR--
[公式] - iPhoneの購入や予約はオンラインで確実に!

この記事がお役に立ったらシェアお願いします
目次