WEKO3
アイテム
{"_buckets": {"deposit": "300286e6-6961-4450-b1c6-6af8f3e821ea"}, "_deposit": {"created_by": 13, "id": "10250", "owners": [13], "pid": {"revision_id": 0, "type": "depid", "value": "10250"}, "status": "published"}, "_oai": {"id": "oai:uec.repo.nii.ac.jp:00010250", "sets": ["285"]}, "author_link": ["27234"], "control_number": "10250", "item_10006_alternative_title_1": {"attribute_name": "その他(別言語等)のタイトル", "attribute_value_mlt": [{"subitem_alternative_title": "非凸行列正則化によるスパース特徴選択を用いた深層学習", "subitem_alternative_title_language": "ja"}]}, "item_10006_date_granted_11": {"attribute_name": "学位授与年月日", "attribute_value_mlt": [{"subitem_dategranted": "2022-03-24"}]}, "item_10006_degree_grantor_9": {"attribute_name": "学位授与機関", "attribute_value_mlt": [{"subitem_degreegrantor": [{"subitem_degreegrantor_name": "電気通信大学"}]}]}, "item_10006_degree_name_8": {"attribute_name": "学位名", "attribute_value_mlt": [{"subitem_degreename": "修士"}]}, "item_10006_description_10": {"attribute_name": "学位授与年度", "attribute_value_mlt": [{"subitem_description": "2021", "subitem_description_type": "Other"}]}, "item_10006_description_7": {"attribute_name": "抄録", "attribute_value_mlt": [{"subitem_description": "機械学習において、ニューラルネットワーク(neural network, NN)は優れたデータフィッティング能力を持つため広く使われているが、過学習しやすい問題がある。過学習の二つの主な原因は、ノイズ、と多くの無関係な特徴がモデル訓練に使われることである。センサーやIoT(Internet of Things)技術がデータ収集に重要な役割を果たすようになった一方、環境条件などの制約により、データ収集の過程にノイズの混入が不可避である。ニューラルネットワークモデルを訓練するとき、識別などの訓練目的と無関係な特徴が用いられる。\n特徴選択は、収集されたデータの特徴集合から有用な特徴を選択する。特徴選択は学習過程を加速すること、データ記憶コストを減らすこととノイズや過学習の緩和などが可能であり、頑健なモデルを構築するために不可欠なプロセスである。L2,1-2 ノルムのスパースを利用した特徴選択がMiao らによって提案され、良いパフォーマンスを示した。\n本研究は、L2,1-2 ノルムを用いて、ニューラルネットワークに特徴選択を導入する手法を提案する。スパース性を持つL2,1 ノルムと比べて、L2,1-2 ノルムはよりスパースな解が得られる。このため、L2,1-2 ノルムを用いるとき、より強い特徴選択効果とノイズの影響を減少することができると考えられる。提案法は特徴選択が目的であるため、モデルの構造として、入力層だけL2,1-2 ノルムを加える。そして、より頑健なモデルを得るため、他の層にL2,2 ノルム(Frobenius norm)正則化項を加える。提案法は、L2,2 ノルム正則化より高い分類精度を得られる方法と考えられる。\n五つのオープンデータセットを用いて実験を行った。正則化項なし、全部層がL2,2 ノルム正則化、入力層L2,1 ノルム正則化他の層がL2,2 ノルム正則化と提案法合わせて四組の実験を行った。五分割交差検定の結果より、提案法が一番良い分類精度が得られた。L2,1 ノルムのスパース特性に関する実験も行い、提案法がよりスパースな解とより高い分類精度が得られた。提案法とL2,2 ノルム正則化についてt検定も行い、有意差が示された。結論として、提案法がL2,2 ノルム正則化と比べて、分類精度がより高く、より頑健なモデルを構築することができた。", "subitem_description_type": "Abstract"}]}, "item_10006_text_22": {"attribute_name": "専攻", "attribute_value_mlt": [{"subitem_text_value": "情報理工学研究科"}, {"subitem_text_value": "情報・ネットワーク工学専攻"}]}, "item_10006_version_type_18": {"attribute_name": "著者版フラグ", "attribute_value_mlt": [{"subitem_version_resource": "http://purl.org/coar/version/c_ab4af688f83e57aa", "subitem_version_type": "AM"}]}, "item_creator": {"attribute_name": "著者", "attribute_type": "creator", "attribute_value_mlt": [{"creatorNames": [{"creatorName": "Zheng, Zide", "creatorNameLang": "en"}], "nameIdentifiers": [{"nameIdentifier": "27234", "nameIdentifierScheme": "WEKO"}]}]}, "item_files": {"attribute_name": "ファイル情報", "attribute_type": "file", "attribute_value_mlt": [{"accessrole": "open_date", "date": [{"dateType": "Available", "dateValue": "2022-05-09"}], "displaytype": "detail", "download_preview_message": "", "file_order": 0, "filename": "2031109.pdf", "filesize": [{"value": "3.8 MB"}], "format": "application/pdf", "future_date_message": "", "is_thumbnail": false, "licensetype": "license_free", "mimetype": "application/pdf", "size": 3800000.0, "url": {"label": "2031109.pdf", "url": "https://uec.repo.nii.ac.jp/record/10250/files/2031109.pdf"}, "version_id": "8d3fbabd-484f-4a90-a8f0-f1e30c1415b3"}]}, "item_language": {"attribute_name": "言語", "attribute_value_mlt": [{"subitem_language": "eng"}]}, "item_resource_type": {"attribute_name": "資源タイプ", "attribute_value_mlt": [{"resourcetype": "thesis", "resourceuri": "http://purl.org/coar/resource_type/c_46ec"}]}, "item_title": "Sparse feature selection with non-convex matrix regularization in deep neural network", "item_titles": {"attribute_name": "タイトル", "attribute_value_mlt": [{"subitem_title": "Sparse feature selection with non-convex matrix regularization in deep neural network", "subitem_title_language": "en"}]}, "item_type_id": "10006", "owner": "13", "path": ["285"], "permalink_uri": "https://uec.repo.nii.ac.jp/records/10250", "pubdate": {"attribute_name": "PubDate", "attribute_value": "2022-05-09"}, "publish_date": "2022-05-09", "publish_status": "0", "recid": "10250", "relation": {}, "relation_version_is_last": true, "title": ["Sparse feature selection with non-convex matrix regularization in deep neural network"], "weko_shared_id": -1}
Sparse feature selection with non-convex matrix regularization in deep neural network
https://uec.repo.nii.ac.jp/records/10250
https://uec.repo.nii.ac.jp/records/1025066f4c710-7fb1-4ab7-b99c-8e908b681ce6
名前 / ファイル | ライセンス | アクション |
---|---|---|
2031109.pdf (3.8 MB)
|
|
Item type | 学位論文 / Thesis or Dissertation(1) | |||||
---|---|---|---|---|---|---|
公開日 | 2022-05-09 | |||||
タイトル | ||||||
言語 | en | |||||
タイトル | Sparse feature selection with non-convex matrix regularization in deep neural network | |||||
言語 | ||||||
言語 | eng | |||||
資源タイプ | ||||||
資源タイプ識別子 | http://purl.org/coar/resource_type/c_46ec | |||||
資源タイプ | thesis | |||||
その他(別言語等)のタイトル | ||||||
その他のタイトル | 非凸行列正則化によるスパース特徴選択を用いた深層学習 | |||||
言語 | ja | |||||
著者 |
Zheng, Zide
× Zheng, Zide |
|||||
抄録 | ||||||
内容記述タイプ | Abstract | |||||
内容記述 | 機械学習において、ニューラルネットワーク(neural network, NN)は優れたデータフィッティング能力を持つため広く使われているが、過学習しやすい問題がある。過学習の二つの主な原因は、ノイズ、と多くの無関係な特徴がモデル訓練に使われることである。センサーやIoT(Internet of Things)技術がデータ収集に重要な役割を果たすようになった一方、環境条件などの制約により、データ収集の過程にノイズの混入が不可避である。ニューラルネットワークモデルを訓練するとき、識別などの訓練目的と無関係な特徴が用いられる。 特徴選択は、収集されたデータの特徴集合から有用な特徴を選択する。特徴選択は学習過程を加速すること、データ記憶コストを減らすこととノイズや過学習の緩和などが可能であり、頑健なモデルを構築するために不可欠なプロセスである。L2,1-2 ノルムのスパースを利用した特徴選択がMiao らによって提案され、良いパフォーマンスを示した。 本研究は、L2,1-2 ノルムを用いて、ニューラルネットワークに特徴選択を導入する手法を提案する。スパース性を持つL2,1 ノルムと比べて、L2,1-2 ノルムはよりスパースな解が得られる。このため、L2,1-2 ノルムを用いるとき、より強い特徴選択効果とノイズの影響を減少することができると考えられる。提案法は特徴選択が目的であるため、モデルの構造として、入力層だけL2,1-2 ノルムを加える。そして、より頑健なモデルを得るため、他の層にL2,2 ノルム(Frobenius norm)正則化項を加える。提案法は、L2,2 ノルム正則化より高い分類精度を得られる方法と考えられる。 五つのオープンデータセットを用いて実験を行った。正則化項なし、全部層がL2,2 ノルム正則化、入力層L2,1 ノルム正則化他の層がL2,2 ノルム正則化と提案法合わせて四組の実験を行った。五分割交差検定の結果より、提案法が一番良い分類精度が得られた。L2,1 ノルムのスパース特性に関する実験も行い、提案法がよりスパースな解とより高い分類精度が得られた。提案法とL2,2 ノルム正則化についてt検定も行い、有意差が示された。結論として、提案法がL2,2 ノルム正則化と比べて、分類精度がより高く、より頑健なモデルを構築することができた。 |
|||||
学位名 | ||||||
学位名 | 修士 | |||||
学位授与機関 | ||||||
学位授与機関名 | 電気通信大学 | |||||
学位授与年度 | ||||||
内容記述タイプ | Other | |||||
内容記述 | 2021 | |||||
学位授与年月日 | ||||||
学位授与年月日 | 2022-03-24 | |||||
著者版フラグ | ||||||
出版タイプ | AM | |||||
出版タイプResource | http://purl.org/coar/version/c_ab4af688f83e57aa | |||||
専攻 | ||||||
情報理工学研究科 | ||||||
専攻 | ||||||
情報・ネットワーク工学専攻 |