딥러닝 모델 병렬 처리 Deep Neural Network & Object Recognition 특집 Deep Learning Model Parallelism Ⅰ
Total Page：16
File Type：pdf, Size：1020Kb
https://ettrends.etri.re.kr 2018 Electronics and Telecommunications Trends 딥러닝 모델 병렬 처리 Deep Neural Network & Object Recognition 특집 Deep Learning Model Parallelism Ⅰ. 머리말 Ⅱ. 딥러닝 모델 병렬 처리 개요 Ⅲ. 딥러닝 프레임워크의 모델 병렬 처리 기술 박유미 (Y.M. Park, [email protected]) 고성능컴퓨팅연구그룹 책임연구원 Ⅳ. 딥러닝 프레임워크의 안신영 (S.Y. Ahn, [email protected]) 고성능컴퓨팅연구그룹 책임연구원 모델 병렬 처리 기술 임은지 (E.J. Lim, [email protected]) 고성능컴퓨팅연구그룹 책임연구원 비교 분석 최용석 (Y.S. Choi, [email protected]) 고성능컴퓨팅연구그룹 책임연구원 Ⅴ. 맺음말 우영춘 (Y.C. Woo, [email protected]) IDX 원천기술연구실 책임연구원 최 완 (W. Choi, [email protected]) IDX 원천기술연구실 책임연구원 Deep learning (DL) models have been widely applied to AI applications such image recognition and language translation with big data. Recently, DL models have becomes larger and more complicated, and have merged together. For the accelerated training of a large-scale deep learning model, model parallelism that partitions the model parameters for non-shared parallel access and updates across multiple machines was provided by a few distributed deep learning frameworks. Model parallelism as a training acceleration method, however, is not as commonly used as data parallelism owing to the difficulty of efficient model parallelism. This paper provides a comprehensive survey of the state of the art in model parallelism by comparing the implementation technologies in several deep learning frameworks that support model parallelism, and suggests a future research directions for improving model parallelism technology. * DOI: 10.22648/ETRI.2018.J.330401 *이 논문은 2016년도 정부(과학기술정보통신부)의 재원으로 정보통신기술진흥센터의 지원을 받 아 수행된 연구임[No.2016-0-00087, 대규모 딥러닝 고속 처리를 위한 HPC 시스템 개발]. 본 저작물은 공공누리 제4유형 출처표시+상업적이용금지+변경금지 조건에 따라 이용할 수 있습니다. © 2018 한국전자통신연구원 1 Ⅰ. 머리말 Ⅱ. 딥러닝 모델 병렬 처리 개요 1. 필요성 불과 십여 년 전 암흑 속의 AI 분야를 되살리고 꽃피 우는 데 가장 큰 역할을 한 딥러닝 기술은 최근 4차 산 최근 딥러닝 모델들은 응용의 인식 성능을 높이기 위 업 혁명의 핵심 기술로 자리 잡으며 사람의 지능을 모사 해 모델의 계층이 깊어지고, 고려해야 할 특징이 많아지 하는 다양한 응용에 적용되고 있다. 이미지 인식, 얼굴 는 대규모 네트워크로 구축되고 있다. 대규모 딥러닝 네 인식, 음성 인식 등 인식 분야를 비롯하여 주식 시장에 트워크를 효율적이고 빠르게 트레이닝하기 위해 학계와 서는 주가를 예측하고, 의료계에서는 질병 진단 지원과 산업계에서는 다중 GPGPU(General-Purpose Com- 발병률 예측을 시도하며 심지어 음악, 미술 분야에서는 puting on Graphics Processing Units)를 활용한 딥러 새로운 작품을 창조해 내는 단계에 이르고 있다. 닝 분산 처리 기술을 딥러닝 프레임워크 개발에 적용하 이와 같이 응용의 범위가 넓고 다양해짐에 따라 응용 고 있다[6]-[18]. 현재까지 연구된 딥러닝 분산 처리 기술은 크게 트레 들의 목표 성능을 높이기 위해 다양한 방식으로 딥러닝 이닝 데이터를 다수의 컴퓨터에서 분산 처리하는 데이 모델이 진화하고 있다. 모델의 규모가 커지고 있고 터 병렬 처리(Data Parallelism)와 딥러닝 네트워크를 (Large Scale Model)[1], 모델들을 결합하여(Ensemble 다수의 컴퓨터에서 분산 처리하는 모델 병렬 처리 Model) 목표 성능을 높이고 있고[2], 이질적 형태의 특 (Model Parallelism)로 나뉜다[1], [8]. 징을 함께 처리하기도 하며(Multimodal Model)[3], 기 이중 딥러닝 모델 병렬 처리는 딥러닝 네트워크를 하 존의 모델을 다른 분야에 적용시키기도 한다(Transfer 나의 컴퓨터(또는 GPGPU, FPGA 등 계산 디바이스)에 Learning)[4]. 서 처리하지 못할 경우, 네트워크를 분할하여 다수의 컴 이러한 발전 추세 중 딥러닝 모델의 규모가 커진다는 퓨터에서 처리하는 방법이다. 대표적인 예로 딥러닝 네 것은 모델을 구성하는 뉴런이 많아지고 뉴런을 연결하 트워크 트레이닝 과정에서 계산을 위해 메모리에 상주 는 은닉 계층이 깊어짐을 뜻한다. 이는 SW 엔지니어링 해야 하는 데이터인 파라미터(가중치, 그래디언트 등을 관점에서 볼 때, 딥러닝의 인퍼런스나 트레이닝 과정에 포함하여 트레이닝 과정에 학습되는 값들)의 개수가 늘 계산량이 많아지고 메모리 요구량이 커지면서 한 컴퓨터 어나 계산 가속용으로 이용하는 GPGPU 메모리에 한 (또는 계산 디바이스)의 한계를 넘는 상황이 발생할 수 있 번에 상주할 수 없는 경우에 모델 병렬 처리가 필요하 기 때문에 다수의 컴퓨터가 이를 효율적으로 나누어 처 다. [1]의 예시와 같이 학습 모델은 점점 대규모화되어 리하기 위한 분산 처리 기술이 요구됨을 의미한다[5]. 파라미터 개수가 전장 유전체 분석 모델의 경우 수억에 본고에서는 딥러닝 분산 처리 기술 중 하나인 모델 병 서 수십억 개, 구글 브레인의 이미지 분석 딥러닝 모델 렬 처리 기술을 고찰한다. Ⅱ장에서는 딥러닝 모델 병 에는 수십억 개에서 수백억 개, 뉴스 분석을 위한 토픽 렬 처리의 필요성과 기술적 추세 및 이슈를 설명하고, 모델에서는 1조 개에 이르고 있다. Ⅲ장에서는 딥러닝 분산 프레임워크들의 모델 병렬 처 <표 1>은 BVLC Caffe(v1.0.0)[19]에서 NVIDIA Titan 리 기술을 소개하며, IV장에서 이를 비교 분석한다. 마 X(12GB 메모리)를 이용하여 대규모 CNN 모델들의 지막으로 V장에서 향후 연구가 필요한 방향을 점검하며 ImageNet 트레이닝 중 실측한 데이터이다[20]. 총 6개 결론을 맺는다. 의 딥러닝 모델에 다양한 해상도의 ImageNet 데이터에 2 전자통신동향분석 제33권 제4호 2018년 8월 <표 1> 대규모 CNN 모델의 파라미터 분석[20] Inception_v1 Inception_v3 Resnet_50 Inception_resnet_v2 Resnet_152 VGG16 (googlenet) 레이터 개수(컴포넌트수) 19(223) 13(417) 50(223) 467(1071) 152(674) 16(44) Imagenet 데이터 크기 256×256 300×300 256×256 299×299 299×299 256×256 가중치 개수 13,393,411 24,721,100 31,754,269 56,119,101 66,488,387 138,357,544 가중치 저장 메모리 필요량(MB) 51 94 121 214 254 264 계산시간(ms) 207 289 205 267 176 220 미니배치 크기 64 22 18 6 7 80 총 메모리 사용량(MB) 11,695 11,643 11,651 11,785 11,999 11,591 대해 1회 반복(1 미니배치로 1회 반복) 시 메모리에 상 모델의 분산 병렬 처리 기술에 대해 살펴본다. 주하는 가중치 개수와 규모, 계산 시간, 총 메모리 사용 가. 딥러닝 모델 표현(Representation) 량을 측정하였다. 각 모델들에서의 총 메모리 사용량은 NVIDIA Titan X의 메모리 크기 12GB에 근접한다. 모 사람의 신경망을 모사한 딥러닝 모델은 주로 방향성 델마다 미니배치의 크기를 달리하여 측정한 이유는 모 이 있는 비순환 그래프(DAG: Directed Acyclic Graph) 델의 특성과 ImageNet 입력 데이터의 크기에 따라 필 로 표현된다. 노드로 표현되는 뉴런은 활성화 함수를 의 요한 메모리 요구량이 달라져 이를 GPGPU의 메모리를 미하며 입력이 뉴런을 통해 전달되어 가는 동안 동일한 최대한 이용할 수 있는 최대 미니배치를 적용한 결과이 단계에서 동일한 활성화 함수를 실행하는 뉴런들을 묶 다. 만약 <표 1>의 미니배치보다 더 큰 미니배치를 적용 어 계층이라 부른다. 뉴런들을 연결하는 에지는 입력 계 할 경우, 예를들어 BVLC Caffe에서는 Titan X의 메모 층으로부터 출력 계층으로 나아가는 포워드 방향과 출 리 용량을 넘는 미니배치로 설정한 경우 트레이닝 실행 력 계층으로부터 입력 계층으로 오류가 역전파되는 백 이 불가능하다. SGD(Stochastic Gradient Descent) 기 워드 방향을 내포하며 연결된 뉴런 사이의 가중치를 포 법을 이용하는 분산 딥러닝 모델의 경우, 미니배치 크기 함하고 있다. 가 적을수록 정답에 늦게 수렴하거나 정확도가 저하되 딥러닝 모델 트레이닝과 인퍼런스 과정에서 에지는 기 때문에 가능한 미니배치를 크게 설정하게 된다[8], 뉴런 사이에 데이터 전달을 의미하는데, 이전 뉴런의 계 [21], [22]. 위 실험과 동일한 실행 환경에서 딥러닝 모 델 병렬 처리를 적용한다면 한 컴퓨터당 미니배치를 더 크게 설정할 수 있다. 2. 기술적 이슈 본 절에서는 딥러닝 모델 병렬 처리의 기술 추세와 이 슈를 정리한다. 첫째, 모델 분할을 설명하기에 앞서 현 재 프레임워크들에서 제공하는 모델의 표현 방법을 고 찰하고, 둘째, 모델 병렬 처리를 위한 모델 분할 방법과 이슈를 점검하며, 셋째, 스케줄링과 통신 방법 등 분할 박유미 외 / 딥러닝 모델 병렬 처리 3 산 결과에 가중치를 곱하여 벡터, 매트릭스, 텐서 형태 로 다음 뉴런으로 전달한다. (그림 1)의 예에서 입력 계 층의 벡터값 I와 가중치(입력 계층 I와 은닉 계층 H1 사 이) 매트릭스 WIHI를 곱한 결과가 은닉 계층 H1에 입력 으로 전달된다. (그림 1)의 H11 뉴런은 I×WIH1 중 첫 번 째 열(A)의 합을 입력으로 받고, H12 뉴런은 I×WIH1 중 두 번째 열(B)의 합을 입력으로 받는다. 모델 병렬 처리 시 분할된 모델이 참조하는 가중치는 포워드 시와 백워 드 시 직교하지 않을 수 있기[14], [16] 때문에 발생하는 이슈들을 본 장의 ‘다’ 절에서 설명한다. 나. 딥러닝 모델 분할(Partitioning) 딥러닝 모델은 인공신경망(Artificial Neural Net- work)의 한 종류로 딥러닝 네트워크 모델이라고도 불린 다. 네트워크는 구조적 연결성을 부각하는 용어이고 모 델은 네트워크 구조를 포함한 동작까지 바라보는 포괄 적인 용어로 쓰인다. 본 절에서는 딥러닝 네트워크의 연 (그림 2)는 [9]의 그림을 재구성하여 DNN(Deep 결성 측면에서 분할 방법을 기술하고자 하나 네트워크 Neural Network)의 계층별 모델 분할의 사례를 보였다. 분할 보다 모델 분할이라는 용어가 더 널리 쓰이고 있으 모델을 구성하는 다중 계층들을 한 계층씩 또는 여러 계 므로 모델 분할이라 칭하겠다. 층 묶음으로 나누어(세로 방향으로 분할) 각기 다른 컴 모델 분할 방법으로는 뉴럴 네트워크의 구조적 관점 퓨터 워커(Worker1, Worker2, Worker3, Worker 4)에 에서 계층별 분할[6], [9], [23]과 입력 피처 별 분할 할당하여 처리한다. 딥러닝 트레이닝의 피드 포워드 시 [23], [25], 하이브리드 방법들[8], [16] 그리고 뉴런 단 에는 i번째 계층에서 계산한 값들을 i+1번째 계층에 전 위의 자유 분할 방법들이 연구되고 있다[16], [18]. 달하고, 역전파 시에는 i번째 계층에서 오류로 편미분 된 값들을 i-1번째 계층으로 전달한다. 따라서 계층 분 할로 각 계층의 계산 작업을 처리하는 워커 들 간 데이 터 전송이 필요하다. 두 번째 (그림 3)은 입력 피처를 그룹핑하는 분할 방 법으로(가로 방향으로 분할) 초기 피처들을 두 그룹으로 나누어 서로 다른 컴퓨터 워커(Worker1과 Worker 2)에 할당하여 처리하는 사례이다. 입력 피처 별 분할은 i번 째 계층에서 i+1번째 계층으로 넘어갈 때 Worker1이 로컬 가중치와 계산된 특징값을 Worker 2에 전달해야 4 전자통신동향분석 제33권 제4호 2018년 8월 하고, Worker 2도 마찬가지로 로컬 가중치와 계산된 특 터를 이용하고, 서로 다른 분할이라 해도 일부 파라미터 징값을 Worker 1에 전달해야 한다. 즉, 분산 워커들 사 를 공유할 수 있다. 이는 분할 모델 간 직교성이 없다는 이에 로컬 파라미터를 매 계층, 매 피처 별 분할마다 전 의미이다. 일례로 ‘가’절에서 설명한 (그림 1)의 모델을 달해야 하는 의존성이 생기고 이로 인한 데이터 교환도 계층별로 분할했을 경우, 피드 포워드 시에는 파라미터 불가피하다. 벡터를 열(column) 단위로 참조하지만, 역전파 시에는 세째로 (그림 4)와 같이 계층별 분할과 피처별 분할을 행(row) 단위로 참조한다. 분할된 모델 간 종속적인 데 융합한 하이브리드 분할이 가능하다([9] 그림 재구성).