WEKO3
アイテム
{"_buckets": {"deposit": "48112217-2ae5-4d1b-a3e5-8a4998f91fc8"}, "_deposit": {"created_by": 13, "id": "9354", "owners": [13], "pid": {"revision_id": 0, "type": "depid", "value": "9354"}, "status": "published"}, "_oai": {"id": "oai:uec.repo.nii.ac.jp:00009354", "sets": ["6"]}, "author_link": ["1915"], "control_number": "9354", "item_10001_biblio_info_7": {"attribute_name": "書誌情報", "attribute_value_mlt": [{"bibliographicIssueDates": {"bibliographicIssueDate": "2019-08-01", "bibliographicIssueDateType": "Issued"}, "bibliographicIssueNumber": "8", "bibliographicPageEnd": "566", "bibliographicPageStart": "553", "bibliographicVolumeNumber": "J102-D", "bibliographic_titles": [{"bibliographic_title": "電子情報通信学会論文誌. D, 情報・システム", "bibliographic_titleLang": "ja"}]}]}, "item_10001_description_5": {"attribute_name": "抄録", "attribute_value_mlt": [{"subitem_description": "近年,論理的思考力や問題解決力などの高次の能力を測定する方法の一つとして論述式試験が注目されている.他方で論述式試験の問題として,得られる評点が課題の特性だけでなく評価者の特性にも依存し,これが受験者の能力測定の精度低下を引き起こす点が指摘されてきた.この問題を解決するために,評価者と課題の特性を表すパラメータを付与した項目反応モデルが近年多数提案されている.これらのモデルは,評価者と課題のバイアスを取り除いて能力を推定できるため,素点平均などの単純な得点化法より高精度な能力測定が実現できる.しかし,これらのモデルを用いても,個々の回答文を採点する評価者の数が少なくなると能力測定の精度が低下する問題が残る.本研究では,この問題を解決するために,評価者による評点データだけでなく,受験者が執筆した回答文の内容も能力測定に利用できる新たな項目反応モデルを提案する.具体的には,評価者と課題の特性を考慮した項目反応モデルと教師ありトピックモデルを統合し,トピックモデルによって推定される各回答文のトピック分布を受験者の能力推定値に反映できるモデルを開発する.提案モデルは,回答文あたりの評価者数の減少に伴う能力測定精度の低下を緩和できるだけでなく,評点が与えられていない回答文の得点や受験者の能力を文章情報のみから推定できる利点も有する.また,本論文では,マルコフ連鎖モンテカルロ法を用いた提案モデルのパラメータ推定手法を提案し,実データ実験により提案モデルの有効性を示す.", "subitem_description_type": "Abstract"}, {"subitem_description": "In various assessment contexts, essay type tests have been widely used to measure higher order abilities of examinees. A persistent difficulty is that the ability measurement accuracy depends strongly on rater and task characteristics. To resolve this problem, various item response theory (IRT) models that incorporate rater and task characteristic parameters have been proposed. These models are known to provide more accurate ability measurement than average or total scores do because they can estimate the abilities considering these characteristics. However, there still remains a difficulty that the ability measurement accuracy reduces when only a few raters are assigned to each essay. To resolve this problem, this study proposes a new IRT model that can estimate abilities using not only the rating data but also information of written essays. Specifically, the proposed model is formulated by integrating a supervised topic model into an IRT model with rater and task parameters. As the parameter estimation method of the proposed model, we develop a Markov chain Monte-Carlo algorithm. We evaluate the effectiveness of the proposed model through actual data experiments.", "subitem_description_type": "Abstract"}]}, "item_10001_publisher_8": {"attribute_name": "出版者", "attribute_value_mlt": [{"subitem_publisher": "電子情報通信学会"}]}, "item_10001_relation_14": {"attribute_name": "DOI", "attribute_value_mlt": [{"subitem_relation_type": "isIdenticalTo", "subitem_relation_type_id": {"subitem_relation_type_id_text": "10.14923/transinfj.2019JDP7007", "subitem_relation_type_select": "DOI"}}]}, "item_10001_relation_17": {"attribute_name": "関連サイト", "attribute_value_mlt": [{"subitem_relation_type_id": {"subitem_relation_type_id_text": "http://search.ieice.org/index.html", "subitem_relation_type_select": "URI"}}]}, "item_10001_rights_15": {"attribute_name": "権利", "attribute_value_mlt": [{"subitem_rights": "Copyright © 2019 IEICE"}]}, "item_10001_source_id_9": {"attribute_name": "ISSN", "attribute_value_mlt": [{"subitem_source_identifier": "1881-0225", "subitem_source_identifier_type": "ISSN"}]}, "item_10001_version_type_20": {"attribute_name": "著者版フラグ", "attribute_value_mlt": [{"subitem_version_resource": "http://purl.org/coar/version/c_970fb48d4fbd8a85", "subitem_version_type": "VoR"}]}, "item_creator": {"attribute_name": "著者", "attribute_type": "creator", "attribute_value_mlt": [{"creatorNames": [{"creatorName": "宇都, 雅輝", "creatorNameLang": "ja"}, {"creatorName": "ウト, マサキ", "creatorNameLang": "ja-Kana"}, {"creatorName": "UTO, Masaki", "creatorNameLang": "en"}], "nameIdentifiers": [{"nameIdentifier": "1915", "nameIdentifierScheme": "WEKO"}]}]}, "item_files": {"attribute_name": "ファイル情報", "attribute_type": "file", "attribute_value_mlt": [{"accessrole": "open_date", "date": [{"dateType": "Available", "dateValue": "2019-09-24"}], "displaytype": "detail", "download_preview_message": "", "file_order": 0, "filename": "IRT topic model for essay type tests using rating data and text information.pdf", "filesize": [{"value": "1.1 MB"}], "format": "application/pdf", "future_date_message": "", "is_thumbnail": false, "licensetype": "license_free", "mimetype": "application/pdf", "size": 1100000.0, "url": {"label": "IRT topic model for essay type tests using rating data and text information", "url": "https://uec.repo.nii.ac.jp/record/9354/files/IRT topic model for essay type tests using rating data and text information.pdf"}, "version_id": "2afb1214-957d-4605-aa38-44c24a04af45"}]}, "item_keyword": {"attribute_name": "キーワード", "attribute_value_mlt": [{"subitem_subject": "項目反応理論", "subitem_subject_language": "ja", "subitem_subject_scheme": "Other"}, {"subitem_subject": "潜在ディリクレ配分法", "subitem_subject_language": "ja", "subitem_subject_scheme": "Other"}, {"subitem_subject": "教師ありトピックモデル", "subitem_subject_language": "ja", "subitem_subject_scheme": "Other"}, {"subitem_subject": "パフォーマンス評価", "subitem_subject_language": "ja", "subitem_subject_scheme": "Other"}, {"subitem_subject": "論述式試験", "subitem_subject_language": "ja", "subitem_subject_scheme": "Other"}, {"subitem_subject": "自動採点", "subitem_subject_language": "ja", "subitem_subject_scheme": "Other"}, {"subitem_subject": "item response theory", "subitem_subject_language": "en", "subitem_subject_scheme": "Other"}, {"subitem_subject": "latent Dirichlet allocation", "subitem_subject_language": "en", "subitem_subject_scheme": "Other"}, {"subitem_subject": "supervised topic model", "subitem_subject_language": "en", "subitem_subject_scheme": "Other"}, {"subitem_subject": "performance assessment", "subitem_subject_language": "en", "subitem_subject_scheme": "Other"}, {"subitem_subject": "essay type tests", "subitem_subject_language": "en", "subitem_subject_scheme": "Other"}, {"subitem_subject": "automated essay scoring", "subitem_subject_language": "en", "subitem_subject_scheme": "Other"}]}, "item_language": {"attribute_name": "言語", "attribute_value_mlt": [{"subitem_language": "jpn"}]}, "item_resource_type": {"attribute_name": "資源タイプ", "attribute_value_mlt": [{"resourcetype": "journal article", "resourceuri": "http://purl.org/coar/resource_type/c_6501"}]}, "item_title": "論述式試験における評点データと文章情報を活用した項目反応トピックモデル", "item_titles": {"attribute_name": "タイトル", "attribute_value_mlt": [{"subitem_title": "論述式試験における評点データと文章情報を活用した項目反応トピックモデル", "subitem_title_language": "ja"}, {"subitem_title": "IRT Topic Model for Essay Type Tests Using Rating Data and Text Information", "subitem_title_language": "en"}]}, "item_type_id": "10001", "owner": "13", "path": ["6"], "permalink_uri": "https://uec.repo.nii.ac.jp/records/9354", "pubdate": {"attribute_name": "PubDate", "attribute_value": "2019-09-24"}, "publish_date": "2019-09-24", "publish_status": "0", "recid": "9354", "relation": {}, "relation_version_is_last": true, "title": ["論述式試験における評点データと文章情報を活用した項目反応トピックモデル"], "weko_shared_id": -1}
論述式試験における評点データと文章情報を活用した項目反応トピックモデル
https://uec.repo.nii.ac.jp/records/9354
https://uec.repo.nii.ac.jp/records/935473705635-3a01-4b0a-8f8b-bc5e98a57623
名前 / ファイル | ライセンス | アクション |
---|---|---|
IRT topic model for essay type tests using rating data and text information (1.1 MB)
|
|
Item type | 学術雑誌論文 / Journal Article(1) | |||||
---|---|---|---|---|---|---|
公開日 | 2019-09-24 | |||||
タイトル | ||||||
言語 | ja | |||||
タイトル | 論述式試験における評点データと文章情報を活用した項目反応トピックモデル | |||||
タイトル | ||||||
言語 | en | |||||
タイトル | IRT Topic Model for Essay Type Tests Using Rating Data and Text Information | |||||
言語 | ||||||
言語 | jpn | |||||
キーワード | ||||||
言語 | ja | |||||
主題 | 項目反応理論 | |||||
キーワード | ||||||
言語 | ja | |||||
主題 | 潜在ディリクレ配分法 | |||||
キーワード | ||||||
言語 | ja | |||||
主題 | 教師ありトピックモデル | |||||
キーワード | ||||||
言語 | ja | |||||
主題 | パフォーマンス評価 | |||||
キーワード | ||||||
言語 | ja | |||||
主題 | 論述式試験 | |||||
キーワード | ||||||
言語 | ja | |||||
主題 | 自動採点 | |||||
キーワード | ||||||
言語 | en | |||||
主題 | item response theory | |||||
キーワード | ||||||
言語 | en | |||||
主題 | latent Dirichlet allocation | |||||
キーワード | ||||||
言語 | en | |||||
主題 | supervised topic model | |||||
キーワード | ||||||
言語 | en | |||||
主題 | performance assessment | |||||
キーワード | ||||||
言語 | en | |||||
主題 | essay type tests | |||||
キーワード | ||||||
言語 | en | |||||
主題 | automated essay scoring | |||||
資源タイプ | ||||||
資源タイプ識別子 | http://purl.org/coar/resource_type/c_6501 | |||||
資源タイプ | journal article | |||||
著者 |
宇都, 雅輝
× 宇都, 雅輝 |
|||||
抄録 | ||||||
内容記述タイプ | Abstract | |||||
内容記述 | 近年,論理的思考力や問題解決力などの高次の能力を測定する方法の一つとして論述式試験が注目されている.他方で論述式試験の問題として,得られる評点が課題の特性だけでなく評価者の特性にも依存し,これが受験者の能力測定の精度低下を引き起こす点が指摘されてきた.この問題を解決するために,評価者と課題の特性を表すパラメータを付与した項目反応モデルが近年多数提案されている.これらのモデルは,評価者と課題のバイアスを取り除いて能力を推定できるため,素点平均などの単純な得点化法より高精度な能力測定が実現できる.しかし,これらのモデルを用いても,個々の回答文を採点する評価者の数が少なくなると能力測定の精度が低下する問題が残る.本研究では,この問題を解決するために,評価者による評点データだけでなく,受験者が執筆した回答文の内容も能力測定に利用できる新たな項目反応モデルを提案する.具体的には,評価者と課題の特性を考慮した項目反応モデルと教師ありトピックモデルを統合し,トピックモデルによって推定される各回答文のトピック分布を受験者の能力推定値に反映できるモデルを開発する.提案モデルは,回答文あたりの評価者数の減少に伴う能力測定精度の低下を緩和できるだけでなく,評点が与えられていない回答文の得点や受験者の能力を文章情報のみから推定できる利点も有する.また,本論文では,マルコフ連鎖モンテカルロ法を用いた提案モデルのパラメータ推定手法を提案し,実データ実験により提案モデルの有効性を示す. | |||||
抄録 | ||||||
内容記述タイプ | Abstract | |||||
内容記述 | In various assessment contexts, essay type tests have been widely used to measure higher order abilities of examinees. A persistent difficulty is that the ability measurement accuracy depends strongly on rater and task characteristics. To resolve this problem, various item response theory (IRT) models that incorporate rater and task characteristic parameters have been proposed. These models are known to provide more accurate ability measurement than average or total scores do because they can estimate the abilities considering these characteristics. However, there still remains a difficulty that the ability measurement accuracy reduces when only a few raters are assigned to each essay. To resolve this problem, this study proposes a new IRT model that can estimate abilities using not only the rating data but also information of written essays. Specifically, the proposed model is formulated by integrating a supervised topic model into an IRT model with rater and task parameters. As the parameter estimation method of the proposed model, we develop a Markov chain Monte-Carlo algorithm. We evaluate the effectiveness of the proposed model through actual data experiments. | |||||
書誌情報 |
ja : 電子情報通信学会論文誌. D, 情報・システム 巻 J102-D, 号 8, p. 553-566, 発行日 2019-08-01 |
|||||
出版者 | ||||||
出版者 | 電子情報通信学会 | |||||
ISSN | ||||||
収録物識別子タイプ | ISSN | |||||
収録物識別子 | 1881-0225 | |||||
DOI | ||||||
関連タイプ | isIdenticalTo | |||||
識別子タイプ | DOI | |||||
関連識別子 | 10.14923/transinfj.2019JDP7007 | |||||
権利 | ||||||
権利情報 | Copyright © 2019 IEICE | |||||
関連サイト | ||||||
識別子タイプ | URI | |||||
関連識別子 | http://search.ieice.org/index.html | |||||
著者版フラグ | ||||||
出版タイプ | VoR | |||||
出版タイプResource | http://purl.org/coar/version/c_970fb48d4fbd8a85 |