Publications

The publication list is also available at:

• Google Scholar
• Tokyo Tech Research Repository

Papers

• [DOI] [bib] [Slides] [Program] Yosuke Oyama, Akihiro Nomura, Ikuro Sato, Hiroki Nishimura, Yukimasa Tamatsu, Satoshi Matsuoka, Predicting Statistics of Asynchronous SGD Parameters for a Large-Scale Distributed Deep Learning System on GPU Supercomputers, In Proceedings of the 2016 IEEE International Conference on Big Data (IEEE BigData 2016), Washington D.C., Dec. 5-8, 2016.

• [DOI] [bib] [Slides] Ikuro Sato, Ryo Fujisaki, Yosuke Oyama, Akihiro Nomura, Satoshi Matsuoka, Asynchronous, Data-Parallel Deep Convolutional Neural Network Training with Linear Prediction Model for Parameter Transition, In Proceedings of the 24th International Conference On Neural Information Processing (ICONIP 2017), Nov. 14-18, 2017.

• [DOI] [bib] [Slides] [Program] Yosuke Oyama, Tal Ben-Nun, Torsten Hoefler, Satoshi Matsuoka, Accelerating Deep Learning Frameworks with Micro-batches, In Proceedings of the IEEE Cluster 2018, Belfast UK, Sep. 10-13, 2018.

• [DOI] Yosuke Oyama, Naoya Maruyama, Nikoli Dryden, Erin McCarthy, Peter Harrington, Jan Balewski, Satoshi Matsuoka, Peter Nugent, Brian Van Essen, The Case for Strong Scaling in Deep Learning: Training Large 3D CNNs with Hybrid Parallelism, In IEEE Transactions on Parallel & Distributed Systems (TPDS), vol. 32, no. 7, pp. 1641-1652, Jul, 2021.

• [DOI] [Program] Jens Domke, Emil Vatai, Alexsandr Drozd, Peng Chen, Yosuke Oyama, Lingqi Zhang, Shweta Salaria, Daichi Mukunoki, Artur Podobas, Mohamed Wahib, Satoshi Matsuoka, Matrix Engines for High Performance Computing: A Paragon of Performance or Grasping at Straws?, In Proceedings of the International Parallel and Distributed Processing Symposium (IPDPS 2021), pp. 1056-1065, 2021.

• [DOI] [Program] Akihiko Kasagi, Masahiro Asaoka, Akihiro Tabuchi, Yosuke Oyama, Takumi Honda, Yasufumi Sakai, Thang Dang, Tsuguchika Tabaru, Efficient and Large Scale Pre-training Techniques for Japanese Natural Language Processing, In Proceedings of the Ninth International Symposium on Computing and Networking (CANDAR 2021), 2021.

  • [Link] スーパーコンピュータを活用したAIモデルの開発において、世界トップクラスの高速運算性能と認識精度を実現できるソフトウェア技術を開発, 富士通株式会社, 2021.

• [DOI] [Program] Yosuke Oyama, Takumi Honda, Atsushi Ishikawa and Koichi Shirahata, Accelerating Hybrid DFT Simulations Using Performance Modeling on Supercomputers, In Proceedings of the 23rd International Symposium on Cluster, Cloud and Internet Computing (CCGrid 2023), 2023.

Unreviewed Papers / Workshop Manuscripts

• [DOI] [bib] [Slides] [Program] 大山洋介, 野村哲弘, 佐藤育郎, 西村裕紀, 玉津幸政, 松岡聡, 学習条件を考慮した大規模非同期ディープラーニングシステムの性能モデリング, 情報処理学会研究報告, 2016-HPC-155 No.32. In 並列/分散/協調処理に関するサマーワークショップ (SWoPP2016), Aug. 8-10, 2016.

• [DOI] [bib] [Slides] [Program] 大山洋介, 野村哲弘, 佐藤育郎, 松岡聡, ディープラーニングのデータ並列学習における少精度浮動小数点数を用いた通信量の削減, 情報処理学会研究報告, Vol. 2017-HPC-158, 2017.

• [DOI] [bib] [Slides] [Program] Yosuke Oyama, Tal Ben-Nun, Torsten Hoefler, Satoshi Matsuoka, Less is More: Accelerating Deep Neural Networks with Micro-Batching, 情報処理学会研究報告, Vol. 2017-HPC-162, 2017.

• [DOI] [bib] Yosuke Oyama, Tal Ben-Nun, Torsten Hoefler, Satoshi Matsuoka, μ-cuDNN: Accelerating Deep Learning Frameworks with Micro-Batching, arXiv e-prints, 2018.

• [DOI] [bib] [Program] 土川稔生, 大山洋介, 野村哲弘, 松岡聡, 機械学習による計算機トレースの自動生成, 情報処理学会研究報告, 2016-HPC-165, 2018. In 並列/分散/協調処理に関するサマーワークショップ (SWoPP2018), Jul. 30-Aug. 1, 2018.

• [DOI] [bib] [Program] 八島慶汰, 大山洋介, 松岡聡, 深層学習におけるBatchNormalization使用時の計算時間と精度の関係性, 情報処理学会研究報告, 2016-HPC-165, 2018. In 並列/分散/協調処理に関するサマーワークショップ (SWoPP2018), Jul. 30-Aug. 1, 2018.

• [DOI] [bib] [Program] Yosuke Oyama, Naoya Maruyama, Nikoli Dryden, Peter Harrington, Jan Balewski, Satoshi Matsuoka, Marc Snir, Peter Nugent, Brian Van Essen, Toward Training a Large 3D Cosmological CNN with Hybrid Parallelization, 情報処理学会研究報告, 2019-HPC-170. In 並列/分散/協調処理に関するサマーワークショップ (SWoPP2019), Jul. 24-26, 2019.

• [DOI] [bib] [Program] 土川稔生, 遠藤敏夫, 大山洋介, 野村哲弘, 近藤正章, 松岡聡, メモリアクセスデータを用いた機械学習によるアプリケーションの類型化, 情報処理学会研究報告, 2019-HPC-170. In 並列/分散/協調処理に関するサマーワークショップ (SWoPP2019), Jul. 24-26, 2019.

• [DOI] [bib] Yosuke Oyama, Naoya Maruyama, Nikoli Dryden, Erin McCarthy, Peter Harrington, Jan Balewski, Satoshi Matsuoka, Peter Nugent, Brian Van Essen, The Case for Strong Scaling in Deep Learning: Training Large 3D CNNs with Hybrid Parallelism, arXiv e-prints, 2020.

• [DOI] [bib] Jens Domke, Emil Vatai, Alexsandr Drozd, Peng Chen, Yosuke Oyama, Lingqi Zhang, Shweta Salaria, Daichi Mukunoki, Artur Podobas, Mohamed Wahib, Satoshi Matsuoka, Matrix Engines for High Performance Computing: A Paragon of Performance or Grasping at Straws?, arXiv e-prints, 2020.

• [Program] 大山洋介, 白幡晃一, 大規模流体解析に向けたOpenFOAMの計算高速化, オープンCAEシンポジウム2021, 2021.

• [DOI] [Program] 大山洋介, 本田巧, 白幡晃一, 「富岳」における密度汎関数法計算ソフトウェアCP2Kの高速化, 情報処理学会研究報告, 2022-HPC-185. In 並列/分散/協調処理に関するサマーワークショップ (SWoPP2022), Jul. 27-29, 2022.

• [DOI] [Program] Yosuke Oyama, Akihiro Tabuchi and Atsushi Tokuhisa, Accelerating AlphaFold2 Inference of Protein Three-Dimensional Structure on the Supercomputer Fugaku, In Proceedings of the 13th Workshop on AI and Scientific Computing at Scale using Flexible Computing Infrastructures (FlexScience 2023), 2023.

  • [Link] 「富岳」実装版「OpenFold」の提供開始－タンパク質構造の大規模高速推論でゲノム医療や創薬に貢献－, 理化学研究所, 2023.

Posters

• [Program] Yosuke Oyama, Akihiro Nomura, Ikuro Sato, Hiroki Nishimura, Yukimasa Tamatsu, Satoshi Matsuoka, Training Condition Conscious Performance Modeling of an Asynchronous Data-Parallel Deep Learning System, In ACM Symposium on High-Performance Parallel and Distributed Computing (HPDC'16), May. 31-Jun. 4, 2016 .

• [Poster] [Program] Yosuke Oyama, Akihiro Nomura, Ikuro Sato, Hiroki Nishimura, Yukimasa Tamatsu, Satoshi Matsuoka, Predicting Probabilistic Parameters of a Large-Scale Asynchronous SGD Deep Learning System, In GPU Technology Conference 2017 (GTC 2017), Silicon Valley, May. 8-11, 2017.

• [Poster] [Program] 大山洋介, 大規模並列環境における少精度型を用いたディープラーニングの学習精度の検証, In JHPCN：学際大規模情報基盤共同利用・共同研究拠点第10回シンポジウム, Jul. 12-13, 2018.

• [Poster] [Program] 大山洋介, 野村哲弘, 佐藤育郎, 松岡聡, 大規模並列環境における低精度型を用いたディープラーニングの学習精度の検証, In 公開シンポジウム「Co-Designによる深層学習基盤」, Nov. 27, 2018.

• [Poster] [Program] Yosuke Oyama, Tal Ben-Nun, Torsten Hoefler, Satoshi Matsuoka, μ-cuDNN: Accelerating Deep Learning Frameworks with Micro-Batching, In 公開シンポジウム「Co-Designによる深層学習基盤」, Nov. 27, 2018.

• [Poster] [Program] Yosuke Oyama, Tal Ben-Nun, Torsten Hoefler, Satoshi Matsuoka, u-cuDNN: Accelerating Deep Learning Frameworks with Micro-Batches, In GPU Technology Conference 2019 (GTC 2019), Silicon Valley, May. 17-21, 2019.

• [Poster] [Abstract] [Program] Yosuke Oyama, Naoya Maruyama, Nikoli Dryden, Peter Harrington, Jan Balewski, Satoshi Matsuoka, Marc Snir, Peter Nugent, Brian Van Essen, Toward Training a Large 3D Cosmological CNN with Hybrid Parallelization, In 48th International Conference on Parallel Processing (ICPP 2019), Kyoto, Aug. 5-8, 2019.

Talk

• [Abstract] [Slides] [Program] Yosuke Oyama, Hiroki Ohtsuji, Jun Kato, Kosuke Suzuki, Mitsuru Sato, Eiji Yoshida, Partially-Decompressible Dictionary Based Compression Format for All Flash Array, In 1st Joint International Workshop on Parallel Data Storage & Data Intensive Scalable Computing Systems (PDSW-DISCS'16), Nov. 14, 2016.

• [Program] [Slides] Yosuke Oyama, Naoya Maruyama, Nikoli Dryden, Peter Harrington, Jan Balewski, Satoshi Matsuoka, Marc Snir, Peter Nugent, Brian Van Essen, Toward Training a Large 3D Cosmological CNN with Hybrid Parallelization, In The 1st Workshop on Parallel and Distributed Machine Learning 2019 (PDML'19), in 48th International Conference on Parallel Processing (ICPP 2019), Kyoto, Aug. 5, 2019.

• [Webpage] [Program] Yosuke Oyama, Koichi Shirahata, Optimizing Open-Source CFD Software on a GPU Supercomputer, WCCM-APCOM YOKOHAMA 2022, Jul. 31-Aug. 5, 2022.

Publication

• [Link] 独立行政法人情報処理推進機構, AI白書2017, ISBN:978-4-04-899607-5, 2017. (執筆協力)

• [pdf] 東京大学情報基盤センター, スーパーコンピューティングニュース Vol.20 特集号1, 大規模並列環境における少精度型を用いたディープラーニングの学習精度の検証, 2018.

• [Link] [Post] 日経Robotics 2019年7月号, GPUでのディープラーニングをさらに速く、東工大がNVIDIAチップ向けに高速化ライブラリ, 2019.

Patents

• 大山洋介 (30%), 佐藤育郎 (25%), 西村裕紀 (25%), 野村哲弘 (10%), 松岡聡 (10%), 予測装置、予測方法および予測プログラム, 特願 2016-150221
• 佐藤育郎, 藤崎亮, 野村哲弘, 大山洋介, 松岡聡, 学習システムおよび学習方法, 特願 2016-253169
• ほか

Award, Projects, etc.

• [Link] 国立研究開発法人科学技術振興機構 AIPチャレンジ課題 EBD環境における機械学習アプリケーションの並列化手法の評価, Oct. 2016 - Mar. 2017.

• [Link] 東京大学情報基盤センター 若手・女性利用者推薦課題 大規模並列環境における少精度型を用いたディープラーニングの学習精度の検証, Apr. - Nov. 2017.

• [Link] 東京大学学際大規模情報基盤共同利用・共同研究拠点 萌芽的共同研究課題 大規模並列環境における少精度型を用いたディープラーニングの学習精度の検証, 2017.

• [Link] ETH Zurich, Student Summer Research Fellowship, Jul. - Aug., 2017.

• [Link] 情報処理学会 2017年度 コンピュータサイエンス領域奨励賞

• [Link] [Slides] 日本学術振興会 特別研究員 (DC1), Apr. 2018 - Mar. 2021

• 研究課題: 深層学習の精度を考慮した自動性能最適化フレームワークの構築

• [Link] 情報処理学会 2018年度 山下記念研究賞

• Lawrence Livermore National Laboratory, Temporary Student Intern, Jan. - Mar., 2019.