Siriの正答率が78.5%に向上〜Google Assistantには及ばず

現在市場に出回っている主要なデジタルアシスタントの、質問に対する正答率を調査したところ、AppleのSiriの正答率が、前回の調査時よりも大幅に向上していることがわかりました。
スマホでデジタルアシスタントの能力を実験
Loup Venturesは今年4月、代表的なスマートスピーカーが搭載するデジタルアシスタントである、Apple Siri、Google Assistant、Amazon Alexa、Microsoft Cortanaを対象に、質問に対する正答率、使いやすさ、音質などの実験を行い、結果を公表しました。
今回は、スマートフォン上のデジタルアシスタントに焦点を充て、質問に対する理解度と正答率を調査しています。
なおこれらデジタルアシスタントはスマートスピーカーとスマートフォンの両方に搭載されているものの、搭載機器が異なると実験結果にも違いが出ることが判明したため、今回はスマートフォンのみを用いた実験となっています。
800個の質問で判断
実験では各デジタルアシスタントに対し、800個の同一の質問を行い、①質問の内容を理解したかどうか②正しい答えを提供したかどうか、の2点で評価しています。
なお理解力を総合的に評価するため、大きく分けて5つのカテゴリーから質問を出しています。①周辺地理の理解(Local)「一番近いコーヒーショップは?」②Eコマース能力(Commerce)「キッチンペーパーをもっと注文して?」③ナビゲーション(Navigation)「アップタウンにバスでいく方法は?」④情報(Information)「今夜『Twins』を主演する俳優は?」⑤命令(Command)「今日の午後2時にスティーブに電話することを思い出させて」
Siriの正答率が66.1%から78.5%に向上
総合的な結果を見ると、質問の理解度、正答率ともに、いずれのデジタルアシスタントも4月時の調査よりも高い数字を出していることがわかります。
Siriの正答率は4月時点では66.1%でしたが、今回は78.5%まで向上しました。しかしGoogle Assistantの85.5%には及びません。
「命令」の正答率のみSiriがトップに
質問のカテゴリー別正答率を見ると、「命令」を除くすべてで、Google Assistantがトップとなっています。命令でもっとも高い正答率となったのはSiri(90%)でした。Loup Venturesによれば、Siriはほかのデジタルアシスタントよりも若干ながら、いろいろな「言い回し」に対し柔軟に反応するとともに、音楽関連の質問への正答率が高かったとのことです。
Google Assistantは特に「情報」分野では93%という圧倒的な正答率の高さを示しており、これは検索技術を軸とするGoogleの本領発揮というところでしょう。
Source:Loup Ventures
(lunatic)