新規購入お見積
アップグレードお見積

言語テストにおける評価者の研究に NVivo を活用

文教大学 文学部
英米語英米文学科

秋山 朝康 教授

これからの研究は量的分析と質的分析をバランスよく使い、お互いの分析手法の弱点を補いながら分析することが必要だと感じています。

研究されている内容について教えてください

ゼミ生とOB・OG との勉強会

専門は言語テストで、特にパフォーマンステストが研究対象です。その代表的なものはスピーキング・ライテイングテストでしょう。研究課題の一例として、「スピーキングスキルはどのように測るのが妥当 (適切) であるか」、などがあります。例えば、スピーキングテストと聞いて思い浮かべるのは一対一のインタビュー形式だと思います。インタビューテストが皆さんのスピーキング能力を測るのに妥当であるか考えてみましょう。スピーキングといったら知人・友人と何気なく話すことが一般的だと思います。しかし、多くのインタビューテストは面接官が皆さんに質問することが多く、入試や就職試験面接などのようにごく限られた場面です。このように非日常的な場面でインタビューテストを用いた場合、スピーキング能力を適切に測ることはできるでしょうか。また、試験官の英語が早くて質問が聞き取れなくて答えられなかった場合なども、適切に測っているとはいえません。

パフォーマンステストの最終結果は点数ですが、点数が算出される過程は複雑でまだわかってないことが多いです。例えば、インタビューテストとスピーチをしてもらうテストの場合を比べると、皆さんのスピーキングのパフォーマンスは異なると思います。つまり、点数が違ってくると思います。さらに、スピーチの場合、準備は何分間でき、どんなトピックで話してもらい、誰が採点するかによってもスコアは違ってくる可能性があります。スピーキングテストはスピーチだけではありませんので、スコアに影響を及ぼす要因は無限と言ってもいいでしょう。

私は教員養成の大学で教えていますので、教員採用試験の模擬授業の評価者について、現在研究しています。オリンピックのフィギュアスケートや企業の面接試験と同様に人が評価する場合に共通している問題ですが、評価者によって点数がまちまちであることが少なくありません。教員採用試験も同じことがいえます。研究結果から教員採用試験の評価者も受験者や評価項目によって評価の仕方が大きく違い、評価のブレが生じるということがわかりました。同じ授業を見て評価しているのに、評価者によってなぜ点数が違うかが分かれば改善策も提案できるのではと期待しています。

 

取り扱うデータの種類、収集方法、分析方法について教えてください

模擬授業の評価者の研究の場合、評価者が分析するための授業が必要となります。まず、教員志望の学生に実際に模擬授業をしてもらいます。後日、評価をするためにビデオに録画します。そのビデオを見ながら評価者が実際に採点したものを分析します。例えば、授業の構成・声の大きさの適切さ・熱意が感じられる・黒板を適切に使っているか等々ごとに、1点~5点まで評価者がチェックするようになっています。その採点されたデータを分析します。

分析する内容は、例えば評価者の信頼性 (評価が安定しているか) や評価者間の相関関係 (一致の度合い) 、評価者の厳しさ (または寛大さ) 、評価者のバイアス (偏り) などを分析するために、量的統計ソフトを用います。その後、評価者が他の評価者に比べて特異な特徴などがあった場合や疑問がある評価者に焦点を当てます。例えば、どうしてこの評価者はある特定の評価項目やある受験者に厳しい評価をするのかなどを分析します。評価者がどのように評価しているかは目に見えないので、採点をしている最中に IC レコーダーに吹き込んでもらい、その音声データをスクリプト化します。そのスクリプトを NVivo で分析します。一言でいいますと、量的分析 (統計ソフト) と質的分析 (NVivo) の得意分野を活かして分析をしています。

学生の模擬授業への指導

 

NVivo を使い始めたきっかけを教えてください

以前、豪州のメルボルン大学に留学したとき「研究のパラダイム」についての講義を受けました。簡単に申し上げると、研究において「真実」をどのように捉えるかという哲学的な講義で、大きく分けて二つのタイプの研究者に分かれることを学びました。一つは、探究する真実 (研究課題) はデータの中から作りあげられるもの、もう一つは、その真実がデータの中に存在するのでデータを分析して余分なものを排除しながら真実を見出すとの違いだったと思います。前者は質的分析、後者は量的分析を活用する研究者に大別されます。その頃、言語テストは量的分析が主流だったので私も量的分析だけで研究をすすめていました。しかし、前述の評価者研究をしているときに、量的分析だけに頼ることに限界を感じ、何かいい分析ソフトがあればと思ってネットサーフィンをしていたら NVivo に出会い、興味を持ち使い始めました。

 

NVivo をどのような場面で使用されていますか?

前にも少々触れましたが評価者が受験者の授業を評価しているとき、どのように考えて評価に至ったのかを研究しています (評価者認知研究) 。評価者は授業を見て瞬時に決断し採点しているわけです。評価者の頭の中を可視化するためにスクリプト化します。そして評価者が述べたキーワードをコード化します。評価者は千差万別の評価方法を用いて評価しています。コード化することが慣れていませんでしたので、初めは大変でしたが、じっくり腰を落ち着けてデータを眺めると、大きな共通点が見えてきます (この時期がつらくまた楽しみでもあるのですが) 。また、評価項目に含まれてないことにコメントしている評価者もいて驚いています。

 

NVivo の便利な機能、役に立つ機能を教えてください

模擬授業の評価者のコメントをスクリプト化するときによく活用します。また音声が不明瞭で聞き取れない場合などや音声を確認するために模擬授業者の動画を取り込むとき、よく使います。そしてスクリプト化したものを分析する際にはデータの「コーディング」と「ノード」です。特に「ノード」を振り分ける際には細心の注意を払い、独りよがりの解釈にならないように気を付けています。しかし、研究者の主観はどうしても入りますのでその信頼性を高めるように別の研究者に協力をしてもらい「ノード」の振り分けの信頼性を高めるよう進めています。

 

NVivo はどのような研究者にお薦めできますか?

少々大げさに聞こえると思いますが、すべての研究者です。これからの研究は量的分析と質的分析をバランスよく使い、お互いの分析手法の弱点を補いながら分析することが必要だと感じています。言語テストの分野は、数字を分析することに偏っていた感があります。また、応用言語学のデータ収集の一つにアンケートやインタビューなどがあります。アンケートを分析する場合は相関関係や要因分析の手法などが多いのですが、どうしてそのような結果になったのか推測が困難な場合があります。そのようなときにはインタビューを実施し、録音したものをトランスクリプトし、NVivo のような質的分析ソフトが有効だと思います。アンケートだけでは得られないような深い示唆を得られることが多々あります。量的・質的分析を融合的に組み合わせることにより、NVivo がもっと活用される機会が増えると思います。最後に、無料講習会でどのように NVivo を活用できるかイメージをつかむこともできます。さらに興味を持ったならば有料の講習会にも参加することもできます。このように NVivo 使用者の輪が広がればいいですね。

NVivo の分析結果を学会で発表

 

(本事例作成に関し、秋山教授のご協力に感謝いたします)

            (インタビュー:2013 年6 月)
* 所属・役職はインタビュー時のものです

 

関連情報