広告 50項目講座

【50項目講座 第26回】評価法|テストの種類・信頼性と妥当性・得点の読み方をやさしく解説

テストって、点数をつけたら、それで終わりじゃないの?
HARU
HARU
まずは結論

この項目は、学習の成果を正しく測り、次の指導に生かすための回。診断的・形成的・総括的・選抜的という評価の目的、テストの種類と出題形式、テストの質を見る信頼性・妥当性・実用性・真正性、そして得点分布や標準偏差の読み方を押さえる。

50項目講座の第26回は、区分「言語と教育」から「評価法」です。

第25回では、授業で使う教材と教具を学びました。

この回では、教えた結果をどう確かめ、どう次につなげるかを見ていきます。

用語が多い回ですが、「何のために測るのか」を軸にすると整理しやすくなります。

LULU
LULU
テストの点数は、ただの数字ではありません。学習者の次の一歩を考えるための材料だと思うと、見え方が変わって、私はこの項目が好きになりました。

動画で学ぶ「評価法」(約12分)

この回の要点を、LULUとHARUの会話で約12分の動画にまとめました。

通勤中や家事の合間に、耳で聞くだけでも復習できます。

最後の確認クイズ2問で、覚えたかどうかを試してみてください。

この項目で求められること

文部科学省のコアカリキュラムでは、この項目の到達目標を「日本語教育における評価の役割と意義を理解している」「言語テストによって測定される日本語能力の範囲を把握している」「信頼性と妥当性のある評価のあり方を理解している」としています。

試験では、用語とその説明の組み合わせのほか、場面を読んで、どの評価やテストにあたるかを選ぶ問題に備えておきましょう。

名前を覚えるだけでなく、「いつ、何のために使うのか」まで説明できることが目標です。

ポイント① 評価の目的

テストと評価のちがい

テストは、知識や技能を測る道具です。

評価は、テストや課題、発表などをもとに学習の進み具合を判断し、次の学習につなげることです。

つまり、テストは評価の一部と考えるとわかりやすくなります。

項目 テスト 評価
時期 期末など、決まったタイミング 学習の前・途中・後のいつでも
使い道 点数をつける、順位をつける、合否を決める 指導の改善、学習の支援、フィードバック

評価の4つの目的

評価 いつ・何のために 例
診断的評価 学習の前に、今の力や苦手なところを調べて、指導を決める プレースメント・テスト(クラス分けのテスト)、質問紙、簡単な聞き取り
形成的評価 学習の途中で理解を確かめ、教え方や学び方を調整する 小テスト、口頭での質問、作文の添削、振り返りシート
総括的評価 学習の最後に、どこまで身についたかを確かめ、修了や資格の認定に使う 期末試験、修了試験
選抜的評価 特定の目的で、人を選ぶ 入学試験、奨学金の審査、留学生の選考

同じ小テストでも、途中で教え方を見直すために使えば形成的評価です。

名前は「テストの形」ではなく、「何のために使うか」で決まると覚えましょう。

クラス分けは診断的、途中の小テストは形成的、期末試験は総括的ってことか。時間の順に並べると覚えやすいね。
HARU
HARU

大規模テストと小規模テスト

項目 大規模テスト 小規模テスト
例 日本語能力試験(JLPT)、日本留学試験(EJU)、JFT-Basic 教師や学校が作るテスト
受ける人 不特定多数 特定の少人数
作り方 標準化された形式で、信頼性や公平性を厳しく求められる クラスに合わせて柔軟に作れる
得点の分布 正規分布になりやすい 正規分布になるとは限らない
結果の使い道 進学や就職の判断、教育政策の資料 一人ひとりへのフィードバック、授業の改善

合否が進学や就職などを大きく左右するテストは、ハイステークス・テストと呼ばれます。

カリキュラムと評価

目標、授業、評価は切り離せません。

目標がはっきりしていれば、教える内容も、成果を測る方法も自然に決まります。

先に評価の基準を決めて、そこから授業の内容や活動を逆算する考え方を、バックワードデザインといいます。

試験ではこう問われる

  • 場面を読んで診断的・形成的・総括的・選抜的のどれかを選ぶ
  • ハイステークス・テスト=合否が人生を大きく左右するテスト
  • バックワードデザイン=評価の基準から授業を逆算する

ポイント② テストの種類

テストの種類は、対になる組み合わせで覚えると整理しやすくなります。

種類 何を測るか 例・注意点
到達度テスト 習ったことがどれだけ身についたか 期末試験、単元テスト
熟達度テスト 習った範囲に関係なく、実際の言語の力 日本語能力試験、BJTビジネス日本語能力テスト
主観的テスト 考え方や表現の力(採点する人の判断が入る) 作文、面接。採点の基準を決めておく必要がある
客観的テスト 正解が1つに決まっていて、誰が採点しても同じ結果 選択式、○×、穴埋め。深い理解や表現の力は測りにくい
紙筆テスト 紙に書いて答える力 読解や文法に向く。話す力や聞く力の評価には向かない
パフォーマンス・テスト 実際に言葉を使う場面でどれだけできるか ロールプレイ、プレゼンテーション、ディスカッション
個別要素テスト 文法や語彙など、言葉の一部分 助詞の使い方を問う問題など
統合的テスト いくつもの力をまとめて ディクテーション(聞いた文の書き取り)、クローズテスト(文章の空所埋め)

目標基準準拠テストと集団基準準拠テスト

目標基準準拠テストは、決めておいた基準に届いたかどうかで判断するテストです。

他の人とは比べないので、絶対評価になります。

集団基準準拠テストは、受けた人たちの中での位置で判断するテストです。

偏差値を使う入試のように、他の人と比べるので、相対評価になります。

たとえば、「80点以上なら合格」なら絶対評価、「上位20%が合格」なら相対評価です。

LULU
LULU
「準拠」は「それをよりどころにする」という意味です。目標をよりどころにするのか、集団をよりどころにするのかと考えると、まちがえにくくなります。

試験ではこう問われる

  • 到達度=習った範囲、熟達度=範囲に関係なく今の力
  • 目標基準準拠=絶対評価、集団基準準拠=相対評価
  • ディクテーションやクローズテストは統合的テスト

ポイント③ 出題形式と新しい評価

答え方の形式

解答選択形式は、選択肢から正解を選ぶ形です。

採点がしやすい一方で、当てずっぽうでも正解できるので、選択肢の質を高めたり問題数を増やしたりする工夫が必要です。

解答構成形式は、短い記述、作文、口頭発表のように、自分で答えを作る形です。

書いて答える文章表現のテストは作文形式、口頭で答える会話テストは口述形式と呼ばれます。

言葉を使う力をくわしく見られますが、採点に時間がかかり、主観も入りやすくなります。

再認形式と再生形式

再認形式は、示されたものの中から正しいものを見分ける形です。

たとえば、絵に合う言葉を選ぶ問題です。

再生形式は、記憶から自分で引き出して答える形です。

たとえば、文章の空所に自分で言葉を書き入れる問題です。

再生形式のほうが、知識がどのくらい定着しているかを深く確かめられます。

代替的アセスメント

紙のテストや一斉の試験の代わりに、より実践的に、いろいろな面から学びを測る方法をまとめて、代替的アセスメントといいます。

アセスメントは「評価」という意味です。

代表的なものに、ポートフォリオ、ロールプレイ、プレゼンテーション、自己評価があります。

ポートフォリオ評価は、作文、発表の録画、振り返りシートなどをためていき、伸びていく過程を評価する方法です。

1回のテストの結果ではなく、学びの積み重ねを見るところが特徴です。

ルーブリック

ルーブリックは、評価の観点と段階を表にしたものです。

教師の採点のぶれを減らせるだけでなく、学習者にとっても、どこを直せばよいかがわかりやすくなります。

たとえば、スピーチを評価するなら次のような形です。

観点 A B C
内容 具体例があり、よくわかる 言いたいことはわかる 何の話か伝わりにくい
文法 まちがいがほとんどない まちがいはあるが通じる まちがいが多く通じにくい
話し方 聞き手を見て、はっきり話す 声は聞こえるが、原稿を見がち 声が小さく聞き取りにくい

ダイナミック・アセスメント

ダイナミック・アセスメントは、今の力だけでなく、支援を受けたときに何ができるかという伸びしろを見る評価です。

教師がヒントを出しながら、学習者の反応を見ていきます。

もとになっているのは、ロシアの心理学者ヴィゴツキーの最近接発達領域(ZPD)です。

一人ではできないけれど、助けがあればできる範囲のことを指します。

外国人児童生徒の日本語の力を測る「対話型アセスメントDLA」も、あわせて知っておきましょう。

試験ではこう問われる

  • 再認=見分ける、再生=自分で引き出す
  • ポートフォリオ=成果物をためて過程を評価、ルーブリック=観点と段階の表
  • ダイナミック・アセスメント=ヴィゴツキーの最近接発達領域

ポイント④ 測る日本語能力

言語知識は、文字、音声、語彙、文法など、言葉について知っていることです。

言語能力は、その知識を実際のやり取りで使いこなす力です。

聞く、読むは相手の表現を理解する受容的技能、話す、書くは自分の考えを伝える産出的技能と呼ばれます。

コミュニケーションを支える力は、さらに次のように分けられます。

能力 どんな力か たとえば
文法的能力 語彙や文型のルールを使って、正しい文を作る力 動詞を正しく活用して文を作る
社会言語学的能力 相手や場面に合わせて言葉を選ぶ力 先生に「行く?」ではなく「いらっしゃいますか」と言う
談話能力 文と文をつないで、まとまりのある話や文章にする力 「まず」「それから」と順序立てて話す、相手の話に自然に応じる
方略的能力 うまく言えないときに乗り切る力 「ホチキス」が出てこないので「紙をとめる道具」と言い換える
文法が完璧でなくても、言い換えて伝えられるのは、それだけで立派な力なんだね。
HARU
HARU
LULU
LULU
そうなんです。特に学び始めの頃は、限られた言葉で何とか伝える力がとても大切です。テストで測るときも、この力を見落とさないようにしたいですね。

試験ではこう問われる

  • 具体例が文法的・社会言語学的・談話・方略的のどの能力か
  • 言い換え(パラフレーズ)や聞き返しは方略的能力

ポイント⑤ テストの質と採点の課題

テストの質を見る4つの観点

観点 意味 たとえば
信頼性 結果がどれだけ安定しているか もう一度受けても、点数がほとんど変わらない
妥当性 測りたいものを本当に測れているか 会話の力を筆記だけで測ると、妥当性は低い
実用性 手間・費用・時間の面で無理なく実施できるか 面接は手間がかかり実用性が低め、マークシートは高い
真正性 課題が実際の生活での言葉の使い方に近いか コンビニでの会話を演じる課題は高い、不自然な並べ替え問題は低い

信頼性と妥当性は、体重計でたとえるとわかりやすくなります。

何度乗っても同じ数字が出るのが、信頼性の高い状態です。

でも、身長を知りたいのに体重計を使ったら、数字は安定していても、測りたいものは測れません。

これが、信頼性は高いのに妥当性は低い状態です。

信頼性と妥当性を確かめる

信頼性の代表的な指標が、クロンバックのアルファ係数です。

テストの中の問題が、同じ力をどのくらいそろって測れているかを表し、ふつう0.7以上で信頼性が高いとされます。

採点する人に注目すると、次の2つがあります。

  • 評定者間信頼性:複数の採点者の評価がそろっているか
  • 評定者内信頼性:同じ人の評価が、時間や条件が変わってもぶれないか

妥当性は、問題の内容が目標に合っているかを見る内容妥当性、他のテストや成績との関係を見る基準関連妥当性、測りたい能力を理論的にとらえているかを見る構成概念妥当性という視点で考えます。

採点誤差

採点する人の心理が影響して、本来の実力とは違う評価をしてしまうことを、採点誤差といいます。

誤差 どんなものか
後光効果(ハロー効果) 目立つ特徴に引きずられる。発音がきれいだと、文法のまちがいが多くても全体を高く採点する
系列効果(順序効果) 直前の印象に引きずられる。すばらしい発表の次は、ふつうの発表が低く見える
ラベリング効果(レッテル効果) 思い込みに左右される。「この学生はいつも優秀だから」と高く採点する

防ぐには、複数の人で採点する、ルーブリックを使う、名前を隠して採点する、採点の順番を変えるといった方法があります。

コンピュータを使うCBTやCATは、採点を速く、一貫したものにするのに役立ちます。

また、テストを作るときは、問題文をわかりやすくする、特定の文化や言語の人が不利にならないようにする、形式を事前に知らせるといった、受験者への配慮も大切です。

試験ではこう問われる

  • 信頼性=安定、妥当性=測りたいものを測れている、実用性=実施しやすい、真正性=現実に近い
  • 場面を読んで後光・系列・ラベリングのどれかを選ぶ
  • 評定者間=人と人のあいだ、評定者内=同じ人の中

ポイント⑥ 得点の読み方

平均値・中央値・最頻値

テストで最初についた点数を素点といいます。

素点全体の傾向は、次の3つの値で見ます。

  • 平均値:合計点を人数で割った値
  • 中央値:高い順に並べたときの真ん中の値。極端に高い点や低い点の影響を受けにくい
  • 最頻値:いちばん人数が多い点数

得点分布の形

得点分布の3つの形:正の歪みは山が低い点数の側で最頻値が平均値より低い、正規分布は左右対称で3つの値がほぼ同じ、負の歪みは山が高い点数の側で最頻値が平均値より高い

大規模テストでは、得点の山が左右対称の正規分布になりやすく、平均値・中央値・最頻値がほぼ同じになります。

正の歪みは、山が低い点数の側に寄った形で、最頻値が平均値より低くなります。

テストが難しすぎるときや、出題が授業の内容とずれているときに見られます。

負の歪みは、山が高い点数の側に寄った形で、最頻値が平均値より高くなります。

しっかり準備すれば高得点がとれる、復習テストや単元テストによく見られます。

「正」「負」は山の位置ではなく、長くのびた裾の向きを指します。

裾が高い点数の側にのびるのが正、低い点数の側にのびるのが負です。

ばらつきを見る指標

指標 意味
範囲 最高点と最低点の差。学力差の大まかな目安
分散 それぞれの得点が平均からどのくらい離れているかを表す値(平均とのずれを2乗して平均したもの)
標準偏差 分散の平方根。点数と同じ単位で見られる。大きいほどばらついている

たとえば、平均点が同じ60点の2クラスでも、標準偏差が大きいクラスは、よくできる人と苦手な人の差が大きいとわかります。

平均点だけでは見えないことが、ばらつきを見るとわかるのです。

偏差値は、平均を50として、全体の中での位置を示す数字です。

測定尺度

データをどう扱うかの「物差し」を、測定尺度といいます。

尺度 特徴 例
名義尺度 分類するだけ。順番も量もない 母語、性別
順序尺度 順番はあるが、差の大きさはわからない 優・良・可・不可
間隔尺度 差は比べられるが、絶対的なゼロがない 語彙や文法のテストの得点
比例尺度 絶対的なゼロがあり、2倍、3倍と言える 話す速さ、語彙の使用数、正答数

テストで0点をとっても、その人の力がまったくないとは言えません。

だから、50点は25点の2倍の力とは言えないのです。

得点等化と項目分析

毎回の問題の難しさは、まったく同じにはなりません。

難しさの違うテストの点数を、公平に比べられるように調整することを得点等化といいます。

項目分析は、1つ1つの問題(項目)がうまく働いているかをデータで調べる方法で、次の3つを見ます。

  • 難易度:正答率。高すぎても低すぎても力の差を測れない
  • 識別力:よくできる人が正解し、苦手な人がまちがえるなど、力の差を区別できるか
  • 誤答選択肢有効度:正解以外の選択肢が、きちんと受験者を迷わせているか

S-P表は、学習者と問題を正答の多い順に並べた表です。

SはStudent(学習者)、PはProblem(問題)で、誰がどの問題でつまずいたかがひと目でわかります。

古典的テスト理論と項目応答理論

古典的テスト理論(CTT)は、得点を「本当の力+誤差」と考える理論です。

わかりやすく広く使われてきましたが、問題の難易度や識別力の値が、受ける人たちによって変わってしまう限界があります。

それを補うのが項目応答理論(IRT)です。

問題の特性と受験者の能力を結びつけて分析する理論で、日本語能力試験などの大規模テストで使われています。

IRTを応用して、解答に合わせて次の問題の難しさを変えるテストが、コンピュータ適応型テスト(CAT)です。

LULU
LULU
数字の話が続きますが、計算より「何を見るための値か」を押さえれば大丈夫です。平均は中心、標準偏差はばらつき、と一言で言えるようにしておきましょう。

試験ではこう問われる

  • 分布の形と平均値・中央値・最頻値の位置関係
  • 標準偏差が大きい=ばらつきが大きい
  • 具体例が名義・順序・間隔・比例のどの尺度か
  • 難易度・識別力・誤答選択肢有効度の説明の組み合わせ

学習者はここでつまずく

点数だけを見て、終わってしまう
テストが返ってくると、学習者は点数だけを見て、「できた」「できなかった」で終わってしまいがちです。
どこが伸びていて、次に何をすればよいのかがわからないと、せっかくのテストが学習につながりません。
点数が悪いと、やる気を失ってしまうこともあります。
教えるときのポイント:点数といっしょに、できたことと次の課題を具体的に返しましょう。ルーブリックを見せたり、振り返りシートを書いてもらったりすると、学習者が自分で次の目標を立てやすくなります。

確認クイズ(5問)

答えを考えてから、「答えを見る」を押してください。

Q1. 学習の途中で理解の様子を確かめて、教え方を調整するための評価はどれ?

① 診断的評価 ② 形成的評価 ③ 総括的評価 ④ 選抜的評価

答えを見る

正解:② 形成的評価
小テストや振り返りシートなど、日常の活動の中で行います。学習の前に行うのが診断的評価、最後に行うのが総括的評価です。

Q2. 発音がきれいな学習者に、文法のまちがいが多くても、全体的に高い点をつけてしまう誤差はどれ?

① 系列効果 ② ラベリング効果 ③ 後光効果 ④ 順序効果

答えを見る

正解:③ 後光効果
ハロー効果とも呼ばれ、目立つ特徴に全体の評価が引きずられます。系列効果(順序効果)は、直前に見たものの印象に引きずられる誤差です。

Q3. 2人の教師が同じ作文を採点すると、点数が大きく違った。問題があるのはどれ?

① 実用性 ② 真正性 ③ 評定者間信頼性 ④ 評定者内信頼性

答えを見る

正解:③ 評定者間信頼性
複数の採点者の評価がそろっているかを見る指標です。同じ人の評価がぶれないかを見るのが評定者内信頼性で、ルーブリックは両方を高めるのに役立ちます。

Q4. ほとんどの学習者が高得点をとった単元テストの得点分布として、最も適当なものはどれ?

① 正規分布 ② 正の歪み ③ 負の歪み ④ 左右対称の分布

答えを見る

正解:③ 負の歪み
山が高い点数の側に寄り、裾が低い点数の側にのびる形です。最頻値は平均値より高くなります。

Q5. 「優・良・可・不可」のように、順番はあるが差の大きさはわからない尺度はどれ?

① 名義尺度 ② 順序尺度 ③ 間隔尺度 ④ 比例尺度

答えを見る

正解:② 順序尺度
「優」と「良」の差と、「良」と「可」の差が同じとは言えません。分類するだけなら名義尺度、差を比べられるなら間隔尺度です。

インスタの問題の例
INSTAGRAM @nihongo_1mon
50項目講座の確認問題を、インスタで平日に1問ずつ出しています。スキマ時間の復習にどうぞ。
インスタでフォローする ›

まとめ

50項目講座を案内するLULU
第26回「評価法」のポイント
  • テストは評価の一部。目的は診断的・形成的・総括的・選抜的の4つ
  • 到達度と熟達度、絶対評価と相対評価は対で覚える
  • 新しい評価=ポートフォリオ・ルーブリック・ダイナミック・アセスメント
  • テストの質=信頼性・妥当性・実用性・真正性。採点誤差は後光・系列・ラベリング
  • 得点は平均点だけでなく、分布の形と標準偏差も見る

第26回では、評価の目的、テストの種類、テストの質、得点の読み方を学びました。

次回の第27回「授業計画」では、毎回の授業をどう組み立てるかを見ていきます。

前回の第25回「教材分析・作成・開発」もあわせて復習しておきましょう。

講座の全体は、50項目講座の目次から確認できます。

LULU
LULU
評価は、学習者を順番に並べるためだけのものではなく、次の一歩を一緒に考えるためのものです。用語の奥にある「何のために測るのか」を意識しながら覚えていきましょう。

※到達目標は、文部科学省「登録日本語教員 実践研修・養成課程コアカリキュラム」の必須の教育内容から引用しています。項目の論点は、その解説書の章立ても参考に整理しています。

-50項目講座