Our paper “The Case for Strong Scaling in Deep Learning: Training Large 3D CNNs with Hybrid Parallelism” has been accepted for the Special Section on Parallel and Distributed Computing Techniques for AI, ML, and DL in IEEE Transactions on Parallel and Distributed Systems (TPDS).
Our paper “The Case for Strong Scaling in Deep Learning: Training Large 3D CNNs with Hybrid Parallelism” is released on arXiv. This paper presents scalable hybrid-parallel algorithms for training two large-scale 3D convolutional neural networks, the CosmoFlow network, and the 3D U-Net. For the ComsoFlow network, we successfully scale the training to 2k V100 GPUs with 64x larger spatial input size, by partitioning each data sample across multiple GPUs.
2019年7月24日（水）〜7月26日（金）に行われる**並列/分散/協調処理に関するサマーワークショップ (SWoPP2019)**に参加します。
Our poster “Toward Training a Large 3D Cosmological CNN with Hybrid Parallelization” has been accepted for 48th International Conference on Parallel Processing (ICPP 2019).
IEEE Cluster 2018にて発表した論文 “Accelerating Deep Learning Frameworks with Micro-batches”[DOI] の研究成果が日経Robotics 2019年7月号に掲載されました。
Our poster “u-cuDNN: Accelerating Deep Learning Frameworks with Micro-Batches” has been accepted for GPU Technology Conference (GTC) 2019.
I released onnx2chainer, a Python library to convert ONNX models to Chainer models.
11月27日に行われる**公開シンポジウム「Co-Designによる深層学習基盤」**にて、以下の2件についてのポスター発表を行います。
昨年12月の第162回HPC研究会で発表したLess is More: Accelerating Deep Neural Networks with Micro-Batchingについて 情報処理学会 2018年度山下記念研究賞を受賞しました。
Our paper “Accelerating Deep Learning Frameworks with Micro-batches” has been accepted for IEEE Cluster2018.
We have released μ-cuDNN, a transparent wrapper for NVIDIA cuDNN library. For details, see README.
7月30日〜8月1日に行われる**並列/分散/協調処理に関するサマーワークショップ (SWoPP2018)**に参加します。
7月12日,13日に行われるJHPCN: 学際大規模情報基盤共同利用・共同研究拠点 第10回 シンポジウムにて、昨年度採択された萌芽型共同研究課題「大規模並列環境における少精度型を用いたディープラーニングの学習精度の検証」についてのポスター発表を行います。
Tokyo Tech-flavored Metropolis Themeを公開しました。
2018年以前にHPC研究会で発表したスライドを公開しました。
ウェブページを matsu-www.is.titech.ac.jp/~oyama_y から oyamay.github.ioに移転しました。