お役立ちコラム

すべてのカテゴリ

このスマホの時代に、
能力検査をスマホ受検できないワケ

2018年07月18日

人事調査・研究

お客様からよくいただく声です。平成29年の総務省　通信利用動向調査によれば、20代のインターネット利用の90.0％はスマートフォン（以降スマホ）によるものが占めています。巷の噂では、大学の卒業論文をスマホで書いたという人がいるとか。若者世代にはスマホの利用が当たり前になっています。
就職活動・適性検査の受検にも、このスマホの波はやってきており、弊社のテストセンターでも2014 年から性格検査はスマホ受検できるようになっています。しかし、依然として能力検査のスマホ受検には対応していません。この時代になぜでしょうか？弊社の調査結果を交えて考えてみたいと思います。

大学生のメインデバイスはパソコンからスマホに

株式会社リクルートキャリアの調査（2016）によれば、大学生の94.8％がスマホを保有しており、就職活動をする学生にとってもスマホがメインデバイスとなっています(図表参照)。現在、WEB上で受検するアセスメントは採用場面において広く利用されており、スマホやタブレットなどの普及に伴い、受検にパソコン（以降PC）ではなくスマホやタブレットが用いられる場合も増え続けると予想されます。

能力検査はスマホが不利？

一方で、スマホでの受検、とりわけ能力検査の受検において、海外の研究ではいくつかの課題も指摘されています。

Kingら（2014）の研究では、性格検査やSituational Judgment Test（ある状況を表わしたケースを読んで回答する形式の検査）など、アセスメントの種類によってはPC受検とモバイルツール受検の結果は同等とみなせるが、能力検査についてはモバイルツールが不利となると報告しています(図表参照)。また、LaPort（2016）の研究によれば、能力検査では問題の画面表示のされ方が得点に影響する事が確認されています。

採用場面での利用を想定した時、受検者側の納得感も重要ですが、受検環境によっては受検者の納得感を損ね、不公平感を抱かせる可能性があります。
今後日本でもスマホやタブレットを用いたアセスメント実施への期待が増える中、日本ではほとんど調査が行われておらず、日本語の能力検査について実態を把握する必要があります。

【海外の研究　Kingら(2014)】

＼新卒・中途・高卒採用で使えるSPI３／
●テストの選び方がわかるので、導入検討がスムーズ
●人柄、職務・組織への適応力など、測定項目がわかる
●5種類の報告書サンプルで、活用イメージがわく
資料をダウンロードできる！資料請求はこちら

能力検査の結果に、スマホ受検が及ぼす影響　～弊社研究より～

そこで私たちは、PCとスマホという実施形態の違いがどのような影響を及ぼすのかを検証しました。具体的には、実施形態の違いが受検者からみた回答しやすさ・しにくさ/問題の正答率に及ぼす影響とその要因について検証しました（リクルートキャリア,2016）。

研究概要

◆調査方法

１．対象者に以下のいずれかの実施形態で、SPIの能力検査（言語または非言語検査）を受検してもらう

①PC･･･PC画面で受検
②スマホ[PC]･･･PC画面をそのまま表示させたスマホで受検
③スマホ[調整]･･･スマホ用に調整した画面を表示させたスマホで受検

２．「回答のしやすさ」に関するアンケートに回答してもらう

お使いの端末での回答のしやすさはいかがでしたか？という質問に対し、以下から回答
１：とてもやりやすかった
２：まあやりやすかった
３：どちらともいえない
４：やややりにくかった
５：とてもやりにくかった
※採用場面ではなく、調査用として受検を依頼

◆対象者

22～34歳までの2799名のうち回答の得られた2201名を対象に分析を行いました。

◆受検画面イメージ

結果１：回答のしやすさは実施形態によって異なる

「回答のしやすさ」について実施形態による違いがあるか、言語・非言語それぞれについて分散分析を行いました。その結果、言語・非言語共に、実施形態による差が統計的に有意であると確認されました。言語・非言語のいずれの検査についても回答のしやすさは①PCと③スマホ[調整]は同程度で、②スマホ[PC]が有意に回答しにくいという結果となりました(図表参照)。

※分散分析結果：言語（F(2、1136）=11.794、 p<.001）、非言語（F(2、1104）=16.754、 p<.001)　多重比較はTukeyを用いた。

さらに回答のしにくさの具体的内容を、自由記述で回答してもらったところ、スマホ受検では文章量・文字の大きさなどによる読みにくさ、画面サイズやボタンなどのデザイン面、文字サイズの拡大縮小やスクロールといった煩わしさが課題となることがわかりました。たとえスマホ用に調整した画面であっても、これらの回答しにくさは残ると考えられます。

結果２：同じ問題でも、スマホ受検では正答率が低くなる

言語・非言語それぞれについて、項目特性値の困難度の比較を行いました。困難度というのは、項目の難易度をあらわす指標で、マイナスのほうが易しく（正答率が高い）、プラスのほうが難しい（正答率が低い）という結果を表しています。
これを見ると、言語・非言語ともに、平均的にはスマホ[調整]で受検した場合がもっとも難易度が高く（正答率が低く）、次いでスマホ[PC]、PCとなっています（図表参照）。
同じ問題であるにもかかわらず、実施形態によって問題の難易度（正答率）が変化してしまうといえます。
困難度の差は平均すると0.3前後で、採用場面という受検者にとって重要な場面でのアセスメントの場合、無視できない違いといえます。

【実施形態ごとの困難度の平均値】

また、個別に問題を確認していったところ、様々な影響が確認されました。改行位置やフォントなど、細かいレイアウトの影響は想像以上に大きく、単にスマホに適応した画面にすればよいものではないことがわかりました。

例１：　言語検査

文章の3か所の空欄に適切な言葉を入れる問題です。スマホ用に調整した画面も特に見にくいような気はしませんが、スマホ[調整]が一番難しい（正答率が低い）という結果になっています。

例２：　非言語検査

こちらの問題は表をみながら答える2問組の問題ですが、スマホ用に調整した画面ではスクロールをしないと全体を見ることができず、特にスマホ[調整]の2問目で難しい（正答率が低い）とその影響が大きく出ました。

例３：　非言語検査

PC画面をスマートフォンに表示した場合に「－（マイナス）」の記号が小さくて見落としやすくなってしまい、結果的にスマホ[PC]が一番難しく（正答率が低い）なった項目もありました。

スマホ受検は、能力検査の結果にマイナス影響を及ぼす可能性がある

アンケート回答の結果からは、スマホでの受検が必ずしも回答しにくい印象を与えるわけではないが、文字やボタンの小ささや画面の自動ロックなど、スマホならではの回答に与える影響は一定存在することが明らかになりました。スマホの画面上での文字認識・回答操作の困難さや、問題文面の量に起因するスクロール等の操作を必要とすることなどが、スマホでの回答の負荷を高めていると想定されます。

スマホならでは制限を考慮すると、PC画面用の問題をそのままスマホで表示するという単純な置き換えは危険といえるでしょう。また、一定時間を経過すると画面のロックがかかるなどの問題もあり、制限時間の配慮や開始前のインストラクションなど、問題のデザイン以外にもきめ細やかな対応が必要と想定されます。

加えて、実施形態の違いは項目の難しさ、ひいては得点にある程度の影響を与えることは無視できない問題といえます。実施形態としてPCとスマホの両方を想定する場合は、実施形態の影響の大きい項目の発見や排除、また、実施形態の影響が小さい問題の作成などが求められますが、その解決は一筋縄ではいかないでしょう。

まとめ

今回は、スマホによる能力検査の受検についてまとめてみました。
能力検査をPCとスマホとで受検する機会を公平に提供するには、いくつもの壁が存在するということがわかりました。単なる検査ではなく、受検者の人生を左右する採用試験である以上は、この影響を無視できないと考えています。
スマホ以外にも、就職活動を取り巻く環境・技術は次々と変化していきます。海外でのトレンドや新しい技術動向を積極的に捉えながら、今後もよりよいサービスの提供を考えていきたいと思います。

◆研究詳細

＜論文＞
能力検査受検にスマートフォンを使用することの影響とその要因
 株式会社リクルートキャリア　測定技術研究所　園田友樹　藤田彩子

＜使用した変数＞
・基礎能力検査GAT
言語検査（36問、制限時間30分）と非言語検査（22問、制限時間45分）の二つの下位尺度で構成されています。
・「回答のしやすさ」に関するアンケート
能力検査回答後、「お使いの端末での回答のしやすさはいかがでしたか？」という質問に対し、5段階で回答してもらいました。「4：やややりにくかった」「5：とてもやりにくかった」と回答した対象者からは、回答しにくさの具体的内容について自由記述で回答を得ました。