1. TOP
  2. 特集・コラム
  3. 調査・研究レポート
  4. テストセンターを初めて受検する学生が戸惑わないために~テストセンター体験受検サイト開発の背景となった研究のご紹介~

調査・研究レポート

2011年09月02日テストセンターを初めて受検する学生が戸惑わないために~テストセンター体験受検サイト開発の背景となった研究のご紹介~

研究員 新井一寿

弊社では、1980年代からCBT(Computer Based Testing)に関する研究を進めてまいりました。今回は研究成果の応用事例のひとつである、「学生のための就職支援サイト リクナビ2011」の新機能「SPI 2公式ガイド」におけるテストセンター体験受検・フィードバックコンテンツの開発の背景となった研究成果をご紹介いたします。

受検者にとってのテストセンターならではの特徴

テストセンターとは

弊社では、SPIのテストセンターサービスを2004年から本格的に提供し始めました。テストセンターとは、弊社が運営するSPI受検会場のことで、主に新卒採用選考において多くの企業にご利用いただいています。

会場手配やSPI実施管理はすべて弊社で行っているため、企業にとっては採用コストやパワーを大きく削減することができます。また、応募者にとっては、自分の都合に合わせてテストの会場・日時を予約できるというメリットがあります。2006年度には、テストセンターでの受検者数は、弊社のマークシート方式のテスト(Paper&Pencil;以下P&P)の受検者数を上回り、就職活動をする学生にとって、テストセンターでの受検機会はかなり広がりつつあることがうかがえます。

また、テストセンターはCBT(Computer Based Testing)方式であり、適性検査の受検はすべてパソコン上で行います。その特性を生かし、「適応型」という出題方式を採用しています。適応型テストとは、出題した問題に対する回答結果によって受検者の能力レベルを推定し、次にそのレベルに最適な問題を選択して提示するように設計したテストのことです。例えば、受検者が正答した場合はより難しい問題を、誤答の場合は易しい問題を出題し、都度能力レベルを推定するのです。受検者のレベルに合った問題だけを出題するため、短時間でより高い精度の測定を行うことを実現しています。

CBTとP&Pの違い

テストセンターでのCBT(以下、テストセンターで受検するテストをCBTと呼ぶ)の受検機会は広がりつつありますが、CBTはP&Pと異なる特徴がいくつかあります(図表01)。

図表01 弊社のP&PとCBTの特徴 図表01:弊社のP&PとCBTの特徴

大学生であれば、P&Pのテストは子供の頃から何度か受検した経験があるでしょう。そのため、過去の経験から、得点を少しでも高くするためのコツや工夫を知っていて、実際に受検する際にはそれを実行しているのではないでしょうか。例えば、全体を見渡して解きやすい問題から解くことや、早く解き終えて見直しや解き直しをすることです。

一方、CBTでは、このような「工夫」は通じません。上記のとおり、適応型であるため、全体を見渡したうえで得意な問題から解くこともできませんし、後から見直しをすることもできないのです。また、全体の項目数がわからなかったり、1問ずつ制限時間があったりすることもあり、解き慣れたP&Pと異なる点が複数あります。

このように、CBTでは、適応型という方式を用いることで受検者のレベルに最適な問題を出題してテスト時間を短縮させるメリットがある一方で、受検者にとっては馴染みの薄いことも多く、初めて受検した場合には戸惑ってしまうかもしれません。その結果、焦ってしまい、本来の実力を発揮できない受検者も少なからずいるのではないでしょうか。

焦って受検する人の得点結果とは

「焦り」をどうとらえるか?

焦って本来の実力を発揮できないとは、具体的にどのようなことでしょうか。われわれの研究では、回答の速度および速度の変化に着目しました。

初めてCBTを受検した場合には勝手がわからないせいもあり、回答ペースが遅くなってしまうということがありえます。その場合、残り時間が少ないこと(※1)に気づいて焦ってしまい、後半になるほど回答ペースを上げて回答するのではないでしょうか。

※1:弊社のCBTでは、画面の右上に「回答状況」の進捗と「時間」の経過を表示(下図参照)しています。受検者はこれを見て、自分の回答ペースが速いかどうか目安としています。

図:「回答状況」の進捗と「時間」

そこで、「焦り」は受検時の回答速度や速度変化に反映されると考え、CBT受検者の回答速度および速度変化と得点の関係について検討することとしました。なお、回答速度は問題ごとに測定し、受検者ごとに出題される問題が異なっても互いに速さを比較できるように工夫をしています(※2)。

※2:詳細については、「適応型テストの回答速度と得点の関係」をご参照下さい。

結果1:回答速度が速い人はP&Pが有利?

CBTとP&Pの両方を受検した約30000名のデータを用い、CBT受検時の回答速度が「速い」人と「遅い」人に分類しました。そして、2つのグループの得点(非言語検査)結果を比較しました。結果は、図表02のとおりです。

図表02 CBTの回答速度と得点の関係 図表02:CBTの回答速度と得点の関係

回答速度が速い人は、遅い人に比べて得点が高いことがわかります。また、遅い人は、CBT、P&P両方のテストで同程度の得点を獲得していますが、速い人はCBTの得点のほうが低く、P&P受検のときほど実力を発揮できていない可能性がうかがえます。

結果2:回答ペースがだんだん速くなる人は焦って回答している可能性

さらに細かく見るため、各グループの受検者を、速度変化の仕方によって分類しました。つまり、受検が進むにつれて回答速度がだんだん速くなる人(↑)、あまり変わらない人(→)、だんだん遅くなる人(↓)の3分類です。各グループの得点結果を、図表03に示しました。図中の「速↓」は全体として回答速度は速いが、テストが進むにつれてだんだん速度が遅くなる人、「遅→」は、全体の回答速度は遅く、テストを通してほぼ一定のペースで回答している人を示します。

図表03 CBTの回答速度および速度変化と得点との関係 図表03:CBTの回答速度および速度変化と得点との関係

その結果、速いグループ、遅いグループともに、回答速度がだんだん速くなる(↑)人は、CBTの得点はP&Pより低い傾向にありました。この結果から、だんだん速くなる人は、後半になるにつれて焦ってしまい、結果として本来の実力を発揮できなかったのではないかと推察されます。

結果3:回答速度がだんだん速くなる人も2回目の受検時には実力を発揮している

さらに、回答速度が速くなる受検者が、CBT受検2回目の時にはどのように変化したか追跡してみました(図表04)。

図表04 CBT受検1回目と2回目の回答速度変化 図表04:CBT受検1回目と2回目の回答速度変化

その結果、受検1回目に回答速度がだんだん速くなる人(↑)のうち、約70%の人(図中赤○)は受検2回目には「変化なし(→)」または「遅くなる(↓)」になっていました。このことから、初めて受検したときには後半に焦って回答した人も、2回目には後半になっても焦らずに落ち着いて回答できたのではないかということがうかがえます。

また、こうした速度変化の仕方が得点にどう影響したか調べるため、各グループの1回目の得点と2回目の得点の差を確認しました(図表05)。

図表05 CBT受検1回目と2回目の得点比較(2回目の得点-1回目の得点) 図表05:CBT受検1回目と2回目の得点比較(2回目の得点-1回目の得点)

1回目に速くなる(【1】↑)人のうち、2回目に遅くなる人(【2】↓)と2回目に一定の人(【2】→)の得点上昇は、それぞれ約4.0、約3.2でした。全体の得点上昇の平均は約2.5(※3)であり、上記のグループは相対的に得点上昇が大きいことがわかりました。

※3:同じ形式のテストを2回受検したとき、形式への慣れから得点が上昇することを練習効果と言います。弊社のテストでも平均的に2点程度あがることが確認されています。

このことから、初めて受検したときには焦ってだんだん速くなることにより失敗してしまった人であっても、多くの人が2回目には落ち着いて余裕をもって取り組み、本来の実力どおりの力を発揮したのではないかということが推測できます。

研究結果からサービスへの応用

これらの研究結果から、
・CBTを初めて受検する人の中には、勝手がわからずに焦ってしまい、本来の実力を発揮できていない人が少なからずいるだろうということ
・そうした人も一度受検を経験してCBTに慣れれば、二度目には本来どおりの実力を発揮できる可能性は高いということ
が見えてきました。

もしCBTに不慣れであるというだけで測定結果が変わってしまうとしたら、受検者にとっては不本意ですし、テストの測定精度を下げてしまう誤差要因にもなりかねません。

そこで、受検者が、本番の前にテストセンターのことをあらかじめよく知り、本番で焦ったり失敗したりしないようなしくみや機会を提供することが必要なのではないかという結論に至りました。

研究成果を応用したテストセンター体験受検・フィードバックコンテンツの開発

研究結果を踏まえたコンテンツをリクナビ2011に搭載

この研究を1つのきっかけとして、「学生のための就職支援サイト リクナビ2011」に、テストセンターでのSPI受検をバーチャル体験できるコンテンツを搭載することとなりました。本番前に、あらかじめテストセンターのことを知ったり、「体験」したりすることで、学生の不安を少しでも減らし、本番で実力どおりの結果を発揮できるよう支援することがねらいです。このコンテンツは、体験受検コンテンツとフィードバックコンテンツの2つで構成されています。

体験受検コンテンツ
テストセンターを本番で受検する前に、リクナビ上であらかじめSPIを体験受検できるコンテンツです。ここで出題される問題は、過去に実際に出題されたことのあるものを用いていますし、受検画面や問題の出題のロジックは、できるだけ本物を再現させて作っています。これにより、受検者はテストセンター本番での受検を、自宅のパソコンで事前にバーチャル体験できるようになりました。
フィードバックコンテンツ
体験受検をした後に、受検者に個別にアドバイスをするコンテンツです。回答結果や回答速度の情報を用い、受検者それぞれがどのような回答タイプか、そしてテストセンターで実力を発揮するためのポイントは何かの2つをフィードバックしています。これにより、本番でどのようなポイントに気をつけてSPIを受検すればよいかを知ることができます。

これら2つをリクナビ上で体験することにより、学生がテストセンター本番に落ち着いて臨めるようになれればと考えています。

その他にもテストセンターの情報を詳しく掲載

その他、リクナビ2011には、テストセンター受検までの流れを紹介するページや、受検当日の動きを動画でシミュレーションできるページも用意しました。受検までにどんな準備が必要になるのか、受検当日は何を持っていき、どんな服装で行けばよいのかなど、学生の不安を解消できるような構成になっています。

以上のように、リクナビ2011には、 テストセンターに関するコンテンツを豊富に搭載しました。書籍やインターネットで、テストセンターに関する噂や情報があふれており、その情報に振り回される学生も少なくないようですが、開発元である弊社から正確な情報を直接提供することにより、学生が余計な不安を感じることなく、安心して落ち着いて受検に臨んでいただければと思っています。

学生の反応

リクナビ2011を利用した学生からは、このコンテンツについて下記のようなコメントが寄せられています。

  • テストセンターを体験することができ、本番のイメージができた。
  • 雰囲気を味わえてとても役に立った。
  • アドバイスやタイプなど自分では気がつかないところに気づけた。
  • 本番さながらの緊張感に包まれてできたのでとても良い体験になった。
  • 一日の流れがわかりやすく、イメージしやすかった。

こうしたコメントから、学生がこのサイトを有効に活用している様子をうかがい知ることができました。就職活動が本格化する前に、ぜひたくさんの学生に活用していただきたいと思います。

おわりに

弊社では、今回の例のように、CBTに関する研究を長年行ってまいりました。その代表的なものは論文としてまとめ、学会でも発表を行っています。

過去に学会で発表した論文

  • 適応型テストの回答データを用いた項目特性値の推定
  • CBTにおける受検者の回答速度特性推定の試み
  • 一般知的能力検査における紙筆版とCBT版の項目特性の比較

上記研究内容について詳細をご覧になりたい方は、「書籍・論文」コーナーより学会発表論文をご覧いただければと思います。

(「書籍・論文」コーナーは、株式会社リクルートマネジメントソリューションズ 組織行動研究所のサイトとなります)

 

今後も、こうした研究を通じて、CBTの品質維持や向上に取り組んでいきたいと考えています。

採用担当者向け情報
  • メールマガジン 登録はこちら
受検者向け情報
  • SPIテストセンター受検の手引き
  • ReCoBook
  • リクナビ
  • 求人広告・人材紹介の依頼・申込みはこちらから。リクルートキャリア人材採用ナビ
  • 就職SHOP

ページの先頭へ

Recruit Career Co.,Ltd.
リクルートグループのサイトへ