공모전을 준비하면서 4GB가 넘는 건축물대장 파일을 전처리할 필요가 있었는데, 데이터베이스를 연결하지않고 파이썬 내에서 간단하게 불러올 수 있는 dask라는 라이브러리가 있어서 유용하게 사용했던 적이 있다. dask 라이브러리 병렬 처리를 지원하는 대규모 데이터프레임 라이브러리 큰 규모의 데이터를 효율적으로 처리하고 분석할 수 있도록 도와줌 Pandas와 비슷한 API를 제공하여 기존에 Pandas를 사용했던 사람들도 비교적 쉽게 적용 가능 코드별 설명 Raw data : https://open.eais.go.kr/opnsvc/opnSvcInqireView.do 에서 다운로드 가능 상황 : 2023년 5월 기준 전국 건축물대장 층별개요 데이터에서 서울특별시 & 필요 칼럼만 추출 1. 라이브러리 및 필요 ..
