Python Multiprocessing(Pool)을 사용한 데이터 처리 속도 개선

Python Multiprocessing(Pool)을 사용한 데이터 처리 속도 개선

 

·       Version : MAC OS, Python 3.X, PIP3

 

대용량 데이터를 효율적으로 처리하기 위해서는 병렬 처리를 활용하는것이 좋다. 대부분의 머신러닝/딥러닝에 사용되는 프레임워크들은 함수 내부에서 병렬처리가 가능하도록 설계되어 있기 때문에 시스템의 자원을 효율적으로 사용하지만, 일반적으로 많이 사용되는 데이터 가공 모듈인 pandas와 같은 모듈은 병렬처리를 기본적으로 제공하지 않기 떄분에 별도의 병렬처리가 가능하도록 코딩을 해야한다.

 파이썬에서 병렬처리를 제공하는 대표적인 라이브러리는 Threading과 Multiprocessing 모듈이다. Threading 모들은 파이썬의 GIL(Global Interpreter Lock)라는불리우는 잠금 모델을 사용하기 때문에I/O 작업이 아닌 CPU 작업이 많을 경우 오히려 성능이 저하된다. 이 방식은 Lock을 풀고 스레드를 교환하고 다시 Lock을 거는 형태의 멀티스레드이기 떄문이다.

파이썬에서는 Multiprocessing 를 권장하고 있으며,  이 모듈에는 대표적으로 Pool과 Process가 있지만 이번 글에서는 Pool에 대해서 다루기로 한다.

 

아래 실습코드는 1에서 12까지 숫자를 1초 간격으로 출력하는데, for 문을 사용한 싱글처리와 Pool을 사용하여 병렬 처리를 하였을때의 처리 시간 및 할당된 프로세스를 확인한다.

import os import multiprocessing as mp from multiprocessing import Pool import threading import time import datetime   def non_multiprocess():     print("non multiprocess")     start = int(time.time())         for i in range(1,12):         work_func(i)       end = int(time.time())       print("Number of Core : " + str(mp.cpu_count()))     print("***run time(sec) : ", end-start)      def multiprocess():     print("non multiprocess")        #멀티 프로세싱을 위한 CPU 숫자 확인 및 풀 만들기     num_cores = mp.cpu_count()     pool = Pool(num_cores)       start = int(time.time())       ojbect_list = []     for i in range(1,100):         ojbect_list.append(i)     #멀티 프로세싱 워커 호출     pool.map(work_func, ojbect_list)       end = int(time.time())       #메모리 릭 방지 위해 사용     pool.close()     pool.join()       print("Number of Core : " + str(mp.cpu_count()))     print("***run time(sec) : ", end-start)      def work_func(x):     print("time : " + str(datetime.datetime.today()) +  "value :" + str(x)  + " PID : "  + str(os.getpid()))         time.sleep(1)   if __name__ == '__main__': # execute only if run as a script     #non_multiprocess()     multiprocess()

 

코드를 실행하면 아래와 같은 결과를 확인할 수 있다. non multiprocess 라고 되어 있는 결과는 for문을 사용한 싱글 프로세스이며, 한 개의 프로세스(PID : 49650)만 사용되었으며, 순차적으로 실행되어 12초의 시간이 소요된 것을 확인할 수 있다. Multiprocess의 경우 동시에 6개의 프로세스(필자의 테스트 컴퓨터는 6core이다.)가 할당되었으며 각 PID가 다른것을 확인할 수 있다. 전체 실행시간은 2초가 소요된 것을 확인할 수 있다.

 

간단한 테스트에서는 Multiprocessing에 대한 효과를 크게 느끼지 못할수도 있으나 데이터가 기하급수적으로 커질때에는 데이터 처리 속도에 따른 시간이 엄청나게 차이난다.

 

 

2021-03-01/ Sungwook Kang / http://sungwookkang.com

 

파이선, 파이썬, python, 병렬처리, Multiprocessing, Python Multiprocessing, 파이썬 병렬처리, 데이터 처리, Data Processing