@misc{oai:uec.repo.nii.ac.jp:00010237, author = {岡野, 将士}, month = {2022-05-02}, note = {2021, 近年,論理的思考力や表現力などを評価する手段の一つとして,小論文試験のニーズが高まっている.しかし,大規模試験に小論文試験を導入する場合,時間的・金銭的コストの高さや採点の公平性の担保の難しさといった点で課題が存在する.これらの課題を解決する手法の一つとして,自動採点技術が注目されている. 近年の自動採点手法の多くは,深層学習技術を用いたモデルとして定式化されている.それらのモデルを自動採点に活用するためには,採点済みの小論文データセットを用いてモデル学習を行う必要がある.一般にモデル学習の際には,評価者が与えた得点を真値と仮定する.しかし,大規模試験では多数の評価者が分担して採点を行うことが一般的であり,そのような場合,個々の答案に対する得点は評価者の特性(甘さ/厳しさなど)に依存することが知られている.このようなバイアスデータを用いてモデルを学習すると自動採点モデルの性能が低下してしまう. 他方で,そのような評価者特性の影響を取り除いて得点を推定する方法として,数理モデルを用いたテスト理論の一つである項目反応モデルに,評価者の特性を表すパラメータを加えたモデルが提案されている.岡野・宇都(2021)は,このような項目反応モデルを用いて訓練データ中の得点データから評価者バイアスの影響を取り除いた得点を推定し,それを用いて自動採点モデルを学習する手法を提案しており,それにより自動採点の精度が向上することを示している.しかし,従来手法では,項目反応モデルに基づく得点の推定に評価者が与えた得点データのみを用いており,答案文の情報は使用していない.一方で,評価者特性を取り除いた得点を推定する際には答案文の内容自体も有益な情報となりうる. そこで本研究では,項目反応モデルと深層学習自動採点モデルを二段階で適用するのではなく,end-to-endで学習できるように拡張したモデルを提案する.提案モデルでは,評価者バイアスを取り除いた得点の推定を,答案文の内容も加味して高精度に行うことができ,このアプローチのさらなる性能向上が期待できる.本研究では,実データ実験を通じて,提案手法の有効性を示す.}, title = {評価者特性を考慮した項目反応モデルを組み込んだ深層学習自動採点手法}, year = {}, yomi = {オカノ, マサシ} }