Siri、Google Assistant、Alexaの知能テスト結果

 
Google Assistant、Siri、Alexaのデジタルアシスタントに、それぞれ800の質問をした結果を、投資会社Loup Venturesのジーン・ミュンスター氏らが公表しました。

デジタルアシスタントの知能テスト

テストは、iOS12.4のSiri、Android 9 Pieが動作するPixel XLのGoogle Assistant、iOSアプリのAlexaで行われました。
 
以下の5カテゴリに分類される質問について、「質問を正しく理解できたか」（理解率）と「正しく回答できたか」（正答率）で評価しています。
 

• 周辺地域の理解（Local）例：「一番近いコーヒーショップは？」
• Eコマース能力（Commerce）例：「キッチンペーパーをもっと注文して」
• ナビゲーション（Navigation）例：「アップタウンにバスでいく方法は？」
• 情報（Information）例：「今夜『Twins』を主演する俳優は？」
• 命令（Command）例：「今日の午後2時にジェロームに電話することを思い出させて」

 
ミュンスター氏らは、スマートフォンとスマートスピーカーではデジタルアシスタントの用途、ディスプレイの有無といった条件によって結果が異なるため、テストを分けて実施しており、今回はスマートフォンを対象としています。
 
なお、Cortanaは、Microsoftが2019年初めにCortanaの開発方針変更を発表したことを受けて除外した、とのことです。

年々伸びる正答率、今年もGoogle Assistantがトップ

理解率は、Google Assistantが100％、Alexaは99.9％、Siriは99.8％と、いずれもほぼすべての質問内容を理解しています。
 
正答率は、Google Assistantが92.9％、Siriが83.1％、Alexaが79.8％でした。
 

 
ミュンスター氏らは、同様の調査を2017年と2018年にも実施していますが、理解率は2018年の時点で現在とほぼ同水準に達しているのに対して、正答率は以下のように上昇を続けています。
 

• Google Assistant：74.8％→85.5％→92.9％
• Siri：66.1％→78.5％→83.1％
• Alexa：61.4％→79.8％（2017年は調査対象外）

「命令」に強いSiri

カテゴリ別に正答率を比較すると、各デジタルアシスタントの得意分野が見えてきます。
 
5カテゴリのうち4カテゴリで、Google Assistantがトップの正答率となっており、「命令」ではSiriがGoogle Assistantを抜いて昨年と同じくトップに立っています。
 
Siriが「命令」に強い傾向についてミュンスター氏は、SiriがiPhoneで使われる電話、メッセージ、予定、音楽といった使い方に強いことが示された、とコメントしています。
 
最も差が開いたのは「Eコマース能力」カテゴリで、正答率はGoogle Assistantが92％、Alexaが71％、Siriが68％となっています。
 

 

各デジタルアシスタントとも順調な伸び

各デジタルアシスタントの、5カテゴリにおける正答率の推移を示したのが以下のグラフです。
 
Google Assistant、Siri、Alexaとも、正答率が着実に上昇しており、特にAlexaは最近1年間で正答率を大きく伸ばしていることがわかります。Google AssistantとSiriは、2年連続で「Eコマース能力」が目立って伸びています。
 

 
 
Source:Loup Ventures via iDropNews
(hato)