보통날의/데이터 공부
데이터 분석가의 일 : 데이터 분석 프로세스(2) - 데이터 적재 feat SQLite3
알 수 없는 사용자
2020. 7. 26. 19:33
데이터 분석 프로세스 시리즈
데이터 분석가의 일 : 데이터 분석 프로세스(1) - 기획&EDA
데이터 분석가의 일 : 데이터 분석 프로세스(2) - 데이터 적재 feat SQLite3(현재 글)
데이터 분석가의 일 : 데이터 분석 프로세스(3) - 분석&시각화
데이터 분석가의 일 : 데이터 분석 프로세스(4) - 마무리
사내에서 수집된 데이터를 요약해 볼 수 있는 소프트웨어가 제공된다. 하지만 프로젝트 단위로 어떤 데이터가 사용되었는지 관리하기 위해서 소프트웨어에서 필요한 데이터를 따로 추출하고 SQLite3을 통해 프로젝트 단위로 데이터베이스를 생성한다
엑셀로 데이터 파일을 저장해본 경험이 있다면 이해가 빠를 것이다. 난 엑셀 대신 SQL을 사용하는 것 뿐이다
여기부터는 Python을 활용하기 때문에 공개할 수 있는 소스코드와 캡쳐들을 볼 수 있다. SQL도 Python을 통해 조작하며, 데이터 분석에 Jupyter Notebook(Lab)을 사용하기도 하지만 자체적으로 class, method를 짜고 관리하기 때문에 Pycharm을 주로 사용한다
소프트웨어를 통해 추출된 데이터들을 정제하고 SQL로 업로드하는 것은 이론상 한 번만 진행하기 때문에 별도로 파이썬 실행 파일을 만들어서 활용한다. 플랫폼의 매출 동향과 아까 나누었던 6개 세부 시장의 데이터를 넣을 테이블을 따로 입력하고, 시장 내 경쟁사 정보를 담은 테이블도 따로 나누어 저장해둔다.
