WEKO3
アイテム
{"_buckets": {"deposit": "0fcb46ae-21ac-49db-b9d8-f940ac16e675"}, "_deposit": {"created_by": 13, "id": "10254", "owners": [13], "pid": {"revision_id": 0, "type": "depid", "value": "10254"}, "status": "published"}, "_oai": {"id": "oai:uec.repo.nii.ac.jp:00010254", "sets": ["285"]}, "author_link": ["27238"], "control_number": "10254", "item_10006_date_granted_11": {"attribute_name": "学位授与年月日", "attribute_value_mlt": [{"subitem_dategranted": "2022-03-24"}]}, "item_10006_degree_grantor_9": {"attribute_name": "学位授与機関", "attribute_value_mlt": [{"subitem_degreegrantor": [{"subitem_degreegrantor_name": "電気通信大学"}]}]}, "item_10006_degree_name_8": {"attribute_name": "学位名", "attribute_value_mlt": [{"subitem_degreename": "修士"}]}, "item_10006_description_10": {"attribute_name": "学位授与年度", "attribute_value_mlt": [{"subitem_description": "2021", "subitem_description_type": "Other"}]}, "item_10006_description_7": {"attribute_name": "抄録", "attribute_value_mlt": [{"subitem_description": "外部ストレージを利用してファイル共有を行う高性能計算機システムにおいては、複数の計算ノードがファイルアクセスを行う際に外部ストレージに対するI/O競合が発生し、ファイルアクセス性能が低下することがある。この問題を緩和する方法として、外部ストレージから各計算ノードのローカルストレージに必要なファイルをコピーした上で,ローカルストレージ上のファイルを用いてアプリケーションの実行を行うファイルステージングがある。ただし、ファイルのコピーとアプリケーションの実行を逐次的に行う従来のステージング手法は、深層学習アプリケーションのような全実行時間に占めるファイルアクセス時間の割合が大きいアプリケーションに対してあまり効果的でない。\nそこで本稿では、アプリケーション実行と並列にファイルステージングを行う実行時ファイルステージングを提案する。提案手法では深層学習アプリケーション内でファイルコピーを呼び出し、学習処理と並列化することでステージング処理に要する時間を隠蔽する。\nステージングを行わない場合、従来のステージング方式を用いた場合、提案手法を用いた場合の3つの方式で深層学習ジョブの実行時間を比較した結果、提案手法によりステージング処理に要する時間が隠蔽されていることが確認できた。\n今回の実験ではステージングを行わない(外部ストレージに直接アクセスする)場合でもI/O競合による深層学習アプリケーションの性能低下はあまり見られなかったが、実験に使用した環境よりもローカルストレージと外部ストレージのファイルアクセス性能に差がある環境では提案手法の効果は大きくなると考えられる。また、今回評価に用いた深層学習アプリケーションは性能チューニングが十分行われているとは言えないため。アプリケーションの性能チューニングを今後行うことで提案手法の効果が大きくなると考えられる。", "subitem_description_type": "Abstract"}]}, "item_10006_text_22": {"attribute_name": "専攻", "attribute_value_mlt": [{"subitem_text_value": "情報理工学研究科"}, {"subitem_text_value": "情報・ネットワーク工学専攻"}]}, "item_10006_version_type_18": {"attribute_name": "著者版フラグ", "attribute_value_mlt": [{"subitem_version_resource": "http://purl.org/coar/version/c_ab4af688f83e57aa", "subitem_version_type": "AM"}]}, "item_creator": {"attribute_name": "著者", "attribute_type": "creator", "attribute_value_mlt": [{"creatorNames": [{"creatorName": "樋口, 遼太郎", "creatorNameLang": "ja"}, {"creatorName": "ヒグチ, リョウタロウ", "creatorNameLang": "ja-Kana"}], "nameIdentifiers": [{"nameIdentifier": "27238", "nameIdentifierScheme": "WEKO"}]}]}, "item_files": {"attribute_name": "ファイル情報", "attribute_type": "file", "attribute_value_mlt": [{"accessrole": "open_date", "date": [{"dateType": "Available", "dateValue": "2022-05-11"}], "displaytype": "detail", "download_preview_message": "", "file_order": 0, "filename": "2031121.pdf", "filesize": [{"value": "1.1 MB"}], "format": "application/pdf", "future_date_message": "", "is_thumbnail": false, "licensetype": "license_free", "mimetype": "application/pdf", "size": 1100000.0, "url": {"label": "2031121.pdf", "url": "https://uec.repo.nii.ac.jp/record/10254/files/2031121.pdf"}, "version_id": "7c50cf16-87b9-4c79-9c6c-d482115433eb"}]}, "item_language": {"attribute_name": "言語", "attribute_value_mlt": [{"subitem_language": "jpn"}]}, "item_resource_type": {"attribute_name": "資源タイプ", "attribute_value_mlt": [{"resourcetype": "thesis", "resourceuri": "http://purl.org/coar/resource_type/c_46ec"}]}, "item_title": "深層学習における実行時ファイルステージングに関する研究", "item_titles": {"attribute_name": "タイトル", "attribute_value_mlt": [{"subitem_title": "深層学習における実行時ファイルステージングに関する研究", "subitem_title_language": "ja"}]}, "item_type_id": "10006", "owner": "13", "path": ["285"], "permalink_uri": "https://uec.repo.nii.ac.jp/records/10254", "pubdate": {"attribute_name": "PubDate", "attribute_value": "2022-05-11"}, "publish_date": "2022-05-11", "publish_status": "0", "recid": "10254", "relation": {}, "relation_version_is_last": true, "title": ["深層学習における実行時ファイルステージングに関する研究"], "weko_shared_id": -1}
深層学習における実行時ファイルステージングに関する研究
https://uec.repo.nii.ac.jp/records/10254
https://uec.repo.nii.ac.jp/records/102541af971d5-de52-4291-afe6-7c8616647e55
名前 / ファイル | ライセンス | アクション |
---|---|---|
2031121.pdf (1.1 MB)
|
|
Item type | 学位論文 / Thesis or Dissertation(1) | |||||
---|---|---|---|---|---|---|
公開日 | 2022-05-11 | |||||
タイトル | ||||||
言語 | ja | |||||
タイトル | 深層学習における実行時ファイルステージングに関する研究 | |||||
言語 | ||||||
言語 | jpn | |||||
資源タイプ | ||||||
資源タイプ識別子 | http://purl.org/coar/resource_type/c_46ec | |||||
資源タイプ | thesis | |||||
著者 |
樋口, 遼太郎
× 樋口, 遼太郎 |
|||||
抄録 | ||||||
内容記述タイプ | Abstract | |||||
内容記述 | 外部ストレージを利用してファイル共有を行う高性能計算機システムにおいては、複数の計算ノードがファイルアクセスを行う際に外部ストレージに対するI/O競合が発生し、ファイルアクセス性能が低下することがある。この問題を緩和する方法として、外部ストレージから各計算ノードのローカルストレージに必要なファイルをコピーした上で,ローカルストレージ上のファイルを用いてアプリケーションの実行を行うファイルステージングがある。ただし、ファイルのコピーとアプリケーションの実行を逐次的に行う従来のステージング手法は、深層学習アプリケーションのような全実行時間に占めるファイルアクセス時間の割合が大きいアプリケーションに対してあまり効果的でない。 そこで本稿では、アプリケーション実行と並列にファイルステージングを行う実行時ファイルステージングを提案する。提案手法では深層学習アプリケーション内でファイルコピーを呼び出し、学習処理と並列化することでステージング処理に要する時間を隠蔽する。 ステージングを行わない場合、従来のステージング方式を用いた場合、提案手法を用いた場合の3つの方式で深層学習ジョブの実行時間を比較した結果、提案手法によりステージング処理に要する時間が隠蔽されていることが確認できた。 今回の実験ではステージングを行わない(外部ストレージに直接アクセスする)場合でもI/O競合による深層学習アプリケーションの性能低下はあまり見られなかったが、実験に使用した環境よりもローカルストレージと外部ストレージのファイルアクセス性能に差がある環境では提案手法の効果は大きくなると考えられる。また、今回評価に用いた深層学習アプリケーションは性能チューニングが十分行われているとは言えないため。アプリケーションの性能チューニングを今後行うことで提案手法の効果が大きくなると考えられる。 |
|||||
学位名 | ||||||
学位名 | 修士 | |||||
学位授与機関 | ||||||
学位授与機関名 | 電気通信大学 | |||||
学位授与年度 | ||||||
内容記述タイプ | Other | |||||
内容記述 | 2021 | |||||
学位授与年月日 | ||||||
学位授与年月日 | 2022-03-24 | |||||
著者版フラグ | ||||||
出版タイプ | AM | |||||
出版タイプResource | http://purl.org/coar/version/c_ab4af688f83e57aa | |||||
専攻 | ||||||
情報理工学研究科 | ||||||
専攻 | ||||||
情報・ネットワーク工学専攻 |