프로그래머스 데이터분석 4주차 What I Learn

두근 두근 첫 프로젝트의 시작

 

프로젝트의 목적 SQL과 엑셀을 활용한 EDA

EDA 란 : Exploratory Data Analysis, 탐색적 데이터 분석

데이터분석 과정에 대한 개념으로, 데이터를 분석하고 결과를 내는 과정에 있어서 지속적으로 해당 데이터에 대한 ‘탐색과 이해’를 기본으로 가져야 한다는 것을 의미 + 포함하여 데이터 전처리 를 하는 부분이다.

 

데이터 전처리에선 결측치(비어있는 값을 어떻게 할 것인가), 오류 있는 부분은 없는지, 데이터 타입 확인 (시간 데이터를 활용하려 했으나 문자로 되어 있으면 안되니까) 등 데이터 클리닝 작업을 해야한다는 것.

원래 시작이 반이라고, 데이터 전처리 작업이 생각보다 많이 어려웠다. 어느 팀원 분이 말씀하시길 데이터 전처리가 60% 라고 끄덕끄덕

두개의 테이블을 활용 했는데 하나의 열값이 백오십만개 정도 되는... 어마어마한 데이터 였다. (웹사이트 로그데이터를 갖고 있었어서)

해당데이터를 어떻게 처리할 것인가 에 대한 방법과 에러를 처리하는데만 꼬박 2일 정도를 쓴거 같다.

 

EDA를 공부하면서 느꼇던 부분은 현재의 기초 수준에선 크게 어려운 데이터를 쓰지 않아서 문제가 별로 없지만

현업에서는 제대로 하지 않아서 파악을 제대로 하지 못하고 엉뚱한 해석, 엉뚱한 목적으로 접근한다면 그 데이터 분석은

아무리 열심히 코드를 짰어도 다 쓰레기가 되어 버린다. 결국 시간을 버린다  그만큼 중요한 작업이구나.

 

또한 왜 분석하는지 뭐를 분석하는지를 처음에 다 같은 이해로 작업하고 협업하는게 정말 중요하다고 생각이 들었다.

머리속이 꼬꼬무 일땐 정말 분석하다보면 배가 산이 아니라 화성까지 가버릴 것 같은 길 잃음을 느꼈다. 

마음이 급해서 냅다 분석 돌려보는게 아니라 데이터 구성을 보고 어떤 주제로 분석을 해 볼지에 대한 파악을 하고 이해 한 다음에 진행하는 것이 정말정말정말 중요하다고 느꼈다.

- Finding! 생각 한 것 그리고 배운 것,

프로젝트의 중요한 점 다른 사람의 의견을 잘 듣고 잘 반영하고 고집 피우지 않고 말랑말랑하게 작업 할 자세...

같이 한다는게 혼자 잘한다고 되는 부분이 아니고 문서로 정리했을 때 얼마나 협업하고 소통했는지 티가 나는 것 같다.

이해를 똑같진 않아도 비슷하게 하고 연결해서 작업한다는 것에 협업의 티가 나는 듯.

물론 혼자하는게 제일 편한... 사람이지만 같이 해야만 할때 어떤 태도로 어떤 자세로 마음가짐으로 같이 일할지 조금 고민해보게됬다.