Siriの正答率が78.5％に向上〜Google Assistantには及ばず

 
現在市場に出回っている主要なデジタルアシスタントの、質問に対する正答率を調査したところ、AppleのSiriの正答率が、前回の調査時よりも大幅に向上していることがわかりました。

スマホでデジタルアシスタントの能力を実験

Loup Venturesは今年4月、代表的なスマートスピーカーが搭載するデジタルアシスタントである、Apple Siri、Google Assistant、Amazon Alexa、Microsoft Cortanaを対象に、質問に対する正答率、使いやすさ、音質などの実験を行い、結果を公表しました。
 
今回は、スマートフォン上のデジタルアシスタントに焦点を充て、質問に対する理解度と正答率を調査しています。
 
なおこれらデジタルアシスタントはスマートスピーカーとスマートフォンの両方に搭載されているものの、搭載機器が異なると実験結果にも違いが出ることが判明したため、今回はスマートフォンのみを用いた実験となっています。

800個の質問で判断

実験では各デジタルアシスタントに対し、800個の同一の質問を行い、①質問の内容を理解したかどうか②正しい答えを提供したかどうか、の2点で評価しています。
 
なお理解力を総合的に評価するため、大きく分けて5つのカテゴリーから質問を出しています。①周辺地理の理解(Local)「一番近いコーヒーショップは？」②Eコマース能力(Commerce)「キッチンペーパーをもっと注文して？」③ナビゲーション(Navigation)「アップタウンにバスでいく方法は？」④情報(Information)「今夜『Twins』を主演する俳優は？」⑤命令(Command)「今日の午後2時にスティーブに電話することを思い出させて」
 

Siriの正答率が66.1％から78.5％に向上

総合的な結果を見ると、質問の理解度、正答率ともに、いずれのデジタルアシスタントも4月時の調査よりも高い数字を出していることがわかります。
 
Siriの正答率は4月時点では66.1％でしたが、今回は78.5％まで向上しました。しかしGoogle Assistantの85.5％には及びません。
 

 

「命令」の正答率のみSiriがトップに

質問のカテゴリー別正答率を見ると、「命令」を除くすべてで、Google Assistantがトップとなっています。命令でもっとも高い正答率となったのはSiri(90％)でした。Loup Venturesによれば、Siriはほかのデジタルアシスタントよりも若干ながら、いろいろな「言い回し」に対し柔軟に反応するとともに、音楽関連の質問への正答率が高かったとのことです。
 
Google Assistantは特に「情報」分野では93％という圧倒的な正答率の高さを示しており、これは検索技術を軸とするGoogleの本領発揮というところでしょう。
 

 
 
Source:Loup Ventures
(lunatic)