選択 式 御題
- Rolf Reeves
- Sep 22, 2023
- 9 min read
多肢選択式問題を作る際の留意点
②各分野ごとの問題数と出題の主題(テーマ)を決める 決められた出題範囲のなかで、出題題数とその分野を細かく決めると共に、各問題の主題(テーマ)を決めます。 その際には、選抜試験において、受験者が知っていなければならない(もしくは知っていて欲しい)知識や能力の観点から、出題することが必要になりますので、あまりに専門的であったり、些細な知識(いわゆる「重箱の隅をつつく」ような問題)を避けるようにすることが大切です。

③問題形式の統一を図りつつ、受験者のレベルを意識して問題を作成する 詳しくは後述しますが、多肢選択式試験問題集としての統一性を図ることも重要です。 各問題ごとに使用する用語が異なっていたり、各問題ごとに出題方法が異なっていることにより、結果的に、(能力以外の)解答ミスや、解答する際に、疑念をもたれるような問題は避ける必要があります。
このような段階を経て、問題を作ることになりますが、問題の形式の統一も図りつつ、問題作成チームを作り、問題作成スケジュールを作ったうえで、問題作成に取り掛かることになります。
受験者のレベルに合った問題作成の重要性
一般的に、選抜の強い試験(倍率の高い試験)の場合は、難易度が高くても構わないとされていますが、多肢選択式試験においては、マークシートで解答を選ぶ形式になるため、問題が難しすぎると、前回説明したようにゲス解答が多くなり、受験者の能力を正しく判定できなくなる可能性が出てきます。そのため、概ね40~60%程度の正答率の問題が望ましいと思います。
例えば、競争率の高い試験で、問題が易し過ぎると(図の「やさしすぎる問題」のように)、多くの受験者が高い点数をとり、上位層の差がつかなくなり、効果的な選抜ができなくなる可能性が出てきます。
逆に、問題が難しすぎると(図の「難しい問題」のように)、多くの受験者が低い点数をとり、(上位層の選抜はできますが)下位層の差がつかなくなり、合否判定の境目の点数に多くの人が集まり、選抜の誤差が大きく生じる可能性が出てきます。
まとめ
こうしてみると、単に問題作成といっ手も、受験者像を描きつつ、そのレベルにあった問題をつくることが重要であることがよくわかると思います。
難しすぎる問題は、ゲスが多くなり、結果として、たまたまその問題の答えとマークが一致したことで合格してしまう人を増やすことになります。
また、やさしすぎる問題は、受験者間の差がつかなくなり、試験をした意味そのものが無くなってしまうことになりかねません。
良い人材を確保するための多肢選択式問題の作り方(3)
1 確実な正答が1つのみに絞り込める問題にすること 2 解答に必要な条件を問題にいれること 3 問題文や選択肢は、できるだけわかりやすく簡潔な表現にすること 4 誤答の選択肢は、惑わしの効果があるものにすること 5 選択肢の長さはなるべく同じような長さにすること 6 問題文や選択肢に使用する用語の統一を図ること 7 選択肢には、なるべく「常に」「必ず」「・・・のみ」といった、いわゆる強調語や限定語を避けること 8 選択肢には、なるべく「上記のすべて」「上記のいずれでもない」を用いないこと 9 問題文や選択肢は、なるべく「肯定文」にすること 10 問題文や選択肢の一つ一つの表現にも注意して問題を作成すること 11 その他、問題集全体として、他の問題のヒントになる問題がないこと 12 正答位置の不自然な偏りがないこと
このうち、今回は10~12のポイントについて説明します。
⒑ 問題文や選択肢の一つ一つの表現にも注意して問題を作成すること
例⒑にあるように、受験者が、間違って読んだり、理解し難い曖昧な表現は避けるようにします。そのため、必ず問題文や選択肢は、(作成後も)読み直して、受験者が誤読しないかをチェックする必要があるのです。
よくない問題【例10】 (問題文や選択肢の一つ一つの表現にも注意して問題を作成すること) 問題 (略)に関する記述として、次のうち正しいのはどれか。 1. 1900年代における主な出来事としては・・・があり、これは1920年になると・・・へと変化した。 2. ナトリウムを主成分とする 物質A と 物質B を漂白剤に混ぜると、・・・・となり、蒸発させると物質Cが析出される。 (略) (理由) 選択肢1 では、 「1900年代」 とあるが、これは 「1900年~1910年」 を指すのか、 「1900年~2000年」 を指すのか曖昧なため、必要に応じてわかりやすいようにする必要がある。 選択肢2 では、ナトリウムを主成分とするのは 物質Aのみ なのか、 物質AとBの両方 なのかわかりにくい。
改良例 (略)に関する記述として、次のうち正しいのはどれか。 1. 1900年から1910年における 主な出来事としては・・・があり、これは1920年になると・・・へと変化した。 2. ナトリウムを主成分とする二つの物質A、B を漂白剤に混ぜると、・・・・となり、蒸発させると物質Cが析出される。 (略)
⒒ 問題集全体として、他の問題のヒントになる問題がないこと
例⒒にあるように、同じ問題集の中に、互いにヒントになり合う問題や、一方の答えが、他方の問題に含まれているような問題、さらには、同じことを別の切り口から重ねて問いているような問題は避ける必要があります。
よくない問題【例11】 (問題集の中に、他の問題のヒントになるような問題がないこと) 問題 血液中に存在する ヘモグロビン の特徴として、次のうち正しいのはどれか。 1. 酸素と結合して体全体に酸素を送る。 2. 不要物と結合して体の外に排泄する。 (略) ・・・・・・
問題 次のうち、ヒトの血液中に含まれる物質として正しいのはどれか。 1. 水銀 2. ヘモグロビン (略) 5. フロン (正答2)
(理由) 同じ問題集の中に、血液中にヘモグロビンが含まれることを設問で述べている問題があるにもかかわらず、他の問題で血液中含まれる物質を聞いており、ヒントになっている。
このように、一つの問題集の中で、ある問題が、ほかの問題のヒントになったりしている場合は、一方の問題を、ほかの問題に差し替える必要があるのです。(そうしないと、ヒントに気づいた受験者は、(本来は知らないにもかかわらず)正答に行きついてしまいます。)
⒓ 正答位置の不自然な偏りがないこと
多肢選択式問題の場合は、解答をマークシートに記入していく形式になりますが、例⒓にあるように、解答位置が特定の番号に偏っている場合は、解答がわからずに、たまたまその特定の番号に続けてマークした受験者に有利に働いたりするので、適当なばらつきを持たせることも必要です 。
よくない問題【例12】 問題集全体の正答位置のばらつき (問題集の各問題の正答番号が、特定の番号に偏らないようにすること) 問題集(全20問)の正答番号 問1 1. ②. 3. 4. 5. 問2 1. 2. ③. 4. 5. ・・・・ 問13 1. 2. ③. 4. 5. 問14 1. 2. ③. 4. 5. 問15 1. 2. ③. 4. 5. ・・・・ 問19 1. 2. 3. ④. 5. 問20 1. 2. ③. 4. 5. ※正答位置は 〇印 とする。
(理由) 同じ問題集の正答位置が、特定の番号(この例の場合は選択肢3)に偏ると、受験者がたまたま分からずに適当に選択肢3に続けてマークした場合に正答になってしまう可能性が高くなる。 また、正答番号が3と判断できても、その番号が続くと「もしかしたら違うかもしれない」と考えてしまう可能性が生じる。 そのため、問題集全体の正答位置にバラツキがあるように調整することが望ましい。
このため、問題が完成したのち、正答番号の同一番号の続き具合や、正答位置の不自然な偏りがないか(例えば、全部で20問の問題集の正答番号が「2」の問題が9題あるなど)確認したうえで、必要な正答位置の変更が必要になるのです。
※A Review of Multiple-Choice Item-Writing Guidelines for Classroom Assessment、 Thomas M.Haladyna、Steven M.Downing、Michael C.Rodriguez、APPLIED MESUREMENT IN EDUCATION、2002
参考 Thomas M.Haladyna らの研究 による、多肢選択式問題の作成における留意点 試験の内容について 1.各設問は、特定の内容やある一つの特定の内容を反映するものであること。 2.各設問は、学習すべき基本的な内容であること。(些細な内容は避ける) 3.高いレベルの受験者に対しては新たな素材の問題を用いること。 4.各設問は、互いに独立であること。 5.問題を作成するときは、特定の細かい内容やあまりに一般的な内容は避けること。 6.(事実というよりは)意見に基づくような設問は避けること。 7.ひっかけ問題は避けること。 8.テストする受験者に見合ったわかりやすい表現を用いること。 試験の書式設定について 9.設問形式は、多肢選択式、正誤式等いろいろあるが、これらを混合して使用することは避けること。 10.選択肢は、並べて見やすくすること。 11.各設問を(しっかりと)編集および校正すること。 12.正しい文法、句読点、大文字、綴りを使用すること。 13.各設問の長さを読み取りやすいように最小限にすること。
設問について 14.設問が聞いている内容や方向が明確であること。 15.選択肢をみなくとも、設問の中心的な考えが分かるようになっていること。 16.飾り言葉などの過度の表現を避けること。 17.語幹を肯定的に表現し、NOT(~でない)やEXCEPT(~以外)などの否定語は、なるべく避け、否定的な言葉を使用するときは、慎重に使用すること。
選択肢について 18.できるだけ多くの効果的な選択肢を作ること(研究によれば選択肢は3つでも、こと足りるとされている)。 19.選択肢の1つだけが正しい答えであること。 20.選択肢の数に応じて、正しい答えの場所を変えること。(正答位置が偏らないこと) 21.論理的または数値的な順序で選択肢を配置すること。 22.選択肢が互いに独立で、選択肢の重複は避けること。 23.各選択肢の内容と文法構造が同じようなものであること。(仲間外れとわかってしまうような選択肢ではないこと) 24.各選択肢の長さを、ほぼ同じにすること。 25.これまでの指摘に沿って、慎重に問題を作成すること。 26.選択肢には、NOT(~でない)などの否定形を積極的に使うことを避けること。 27.次のような正答肢への手がかりを与えないようすること。 a 「常に」「決して」「完全に」「絶対的に」など、強い言葉を避ける。 b 設問と選択肢の間で、回答に影響するような、同じ言葉や似た表現を避けること。 c 文法的に明らかにおかしな選択肢を避けること。 d 明らかに目立った正しい選択肢を避けること。 e 正答肢の手がかりになるような同じ単語の多重使用を避けること。 f 明らかに理屈に合わない、ばかげた選択肢を避けること。 28.すべての誤答肢を、もっともらしいものにすること。 29.受験者の典型的な間違いを利用して、誤答肢を作ること。



Comments