데이터분석가 기술블로그

로지컬 씽킹(저자:데루야 하나코, 오카다 게이코)출처 : 알라딘데이터 분석가의 기술적인 부분 외에 기본 논리력을 기를 수 있는 방법은 없을까? 데이터 분석가에겐 파이썬, SQL 같은 하드 스킬도 중요하지만, 데이터를 논리적으로 스토리텔링 할 수 있는 소프트 스킬도 필요하다. 특히 데이터 분석 업무와 컨설팅 펌의 업무를 논리적인 구조와 흐름이 굉장히 유사한데 데이터 분석가는 데이터를 바탕으로 상대방을 논리적으로 설득해야 하는 일이 많다. 처음 논리적 사고를 어떻게 키워야 할지, 어떤 자료를 참고할지 막연하게 느껴지는데, 이 책을 읽어 보길 추천하는 현업 데이터 분석가의 추천글로 읽게 되었다. ‘세계 최강의 지식 상인’맥킨지식 로지컬 씽킹의 기술을 배운다!기획부터 지시와 회의, 보고서, 프레젠테이션, 고객 ..

노션 (Notion) - 95% 추천노션은 나의 상황에 가장 적합한 도구. 건설 및 플랜트 분야의 풍부한 경력과 현재 데이터 분석 교육 과정을 체계적으로 정리하기에 완벽하다.장점:• 데이터베이스 기능을 활용해 프로젝트별, 분야별 경력을 효율적으로 정리 가능• 필터, 그룹, 보기 형태 등을 활용해 27년 경력을 체계적으로 시각화 가능• 데이터 분석 과정 내용을 계층적으로 구조화하여 정리 가능• 롤업 기능을 통해 프로젝트별 성과나 학습 진행도를 집계하고 요약 가능활용 방안:• 건설/플랜트 프로젝트 포트폴리오 구축• 데이터 분석 학습 노트 및 진도 관리• 경력 전환 과정의 목표 설정 및 달성도 추적깃허브 (GitHub) - 80% 추천데이터 분석가로 전환하는 과정에서 코드 관리와 포트폴리오 구축에 매우 유용...

데이터 분석가를 목표로 하는 사람이 커리어 기록 및 과정을 기록하기에 추천하는 플랫폼 순서를 분석해봤습니다:1. 노션 (90% 긍정):•데이터 분석가 포트폴리오 작성에 최적화된 환경을 제공합니다•문서, 코드, 시각화 자료를 한곳에 체계적으로 정리할 수 있습니다•“한눈에 보기” 항목 등을 통해 알찬 내용 속에 자신을 효과적으로 표현할 수 있습니다•경력, 성과, 프로젝트를 키워드로 태그처럼 정리하기 좋습니다2. 깃허브 (85% 긍정):•코드 기반 프로젝트를 관리하고 버전 관리하기에 최적화되어 있습니다•실제 데이터 분석 코드와 프로젝트를 공개하여 기술력을 증명할 수 있습니다•협업 프로젝트 경험을 보여줄 수 있어 채용 담당자에게 좋은 인상을 줍니다•데이터 분석, 머신러닝 프로젝트를 체계적으로 관리하고 공유할 수..

중심 극한 정리(CLT)란? 중심 극한 정리(Central Limit Theorem, CLT)는 통계학에서 가장 기본적이고 중요한 정리로, 다음과 같이 정의:독립적이고 동일한 분포(i.i.d.)를 가진 확률 변수들의 표본 평균은 표본의 크기가 충분히 커질 때 정규 분포에 근사하게 된다는 정리.중심 극한 정리의 핵심 내용모집단의 분포와 무관: 원래 모집단이 어떤 분포를 따르든 상관없이 적용됩니다.표본 크기: 일반적으로 표본 크기(n)가 30 이상이면 충분히 크다고 간주합니다.표본 평균의 분포: 표본 평균은 평균이 μ(모집단의 평균)이고 표준편차가 σ/√n(모집단의 표준편차/√표본크기)인 정규분포에 근사합니다.중심 극한 정리의 조건확률 변수들이 서로 독립적이어야 함동일한 확률 분포를 가져야 함확률 분포의 기..

주정민 강사님 : 통계학과 재학이후 데이터분석가 로 현직에서 경험이 많으신 강사님라피레터, 확률과 분포도 전통적인 분야라 책으로도 추천한다.모든 토글을 열고 닫는 단축키 Windows :Ctrl + alt + t Mac : ⌘ + ⌥ + t 1. 확률과 통계를 어떻게 쓰나데이터를 잘쓰는 회사별로 있다 (예: 쿠팡 정도가 최상)초기 스타트업은 : 데이터엔지니어가 더 필요하다.데이터가 많은 회사를 추천한다. 공고에 JD를 세부적으로 봐서 참고해야설명적 분석 : 루틴한 작업, 진진단적 분석 : 셀프 서비스 분석, 시각화, A/B 데트스 도입(사내 구축이 되어있다)기술블로그 추천함예측적분석 : 머신러닝, 지금은 데이터분석가(데이터분석하고 모델링하는)는 머신러닝은 많이 하지 않는다와 데이터사이언티스트는 분리되는 ..

플랜트 분야의 공정관리팀에서 일정 관리 전문가라면, 프로젝트 일정 계획, 리소스 관리, 공정 최적화 등의 업무를 수행할 가능성이 높다. 이러한 역할에 적합한 IT 직군을 고려할 때, 데이터 엔지니어와 데이터 애널리스트 직군이 가장 적합할 수 있다1. 데이터 엔지니어 (Data Engineer) - 데이터 기반 일정 최적화추천 이유플랜트 프로젝트에서 발생하는 대량의 일정 및 운영 데이터를 효율적으로 수집, 저장, 분석하는 역할일정 데이터, 장비 가동 데이터, 인력 배치 데이터를 처리하여 자동화된 리포팅 및 최적화 가능실시간 데이터 파이프라인을 구축해 프로젝트 일정 변동을 빠르게 감지하고 대응할 수 있음필요한 기술SQL, Python: 데이터 저장 및 분석ETL 프로세스 구축: 일정 및 공정 데이터를 변환 ..

데이터를 분석하여 비즈니스 인사이트를 도출하는 역할이며1.  데이터 과학자 (Data Scientist) → 가장 가까움공통점: 데이터 분석, SQL, 데이터 시각화 사용차이점: 데이터 과학자는 머신러닝 및 고급 분석(예측 모델, AI)을 수행예제: 데이터 애널리스트가 매출 트렌드를 분석하면, 데이터 과학자는 AI를 활용해 매출 예측 모델을 만듦2.  데이터 엔지니어 (Data Engineer) → 데이터 처리 관련공통점: SQL, 데이터 관리, 데이터 파이프라인 구축 이해 필요차이점: 데이터 엔지니어는 데이터 저장, 변환, 배포 담당 (분석보다 인프라 구축에 집중)예제: 데이터 애널리스트가 보고서를 작성하려면, 데이터 엔지니어가 데이터를 정제해서 제공3.  비즈니스 애널리스트 (Business Anal..

3일차(2/26) : EDA와 feature engineering / 데이터 해석각 변수끼리의 상관관계 분석경향성, 패턴 등을 통해 인사이트 찾아내기인사이트를 통한 활용 방안 고민세운 가설을 시각화를 통해 증명하기진행 순서와 해야 할 일1. 변수 간 상관관계 분석해야 할 일:상관계수 행렬 계산:DataFrame의 corr() 메서드를 이용하여 변수 간의 상관계수를 산출합니다.히트맵 시각화:seaborn의 heatmap 함수를 사용하여 상관관계 행렬을 시각적으로 표현합니다.예제 코드:import pandas as pdimport matplotlib.pyplot as pltimport seaborn as sns# (가정) 정제된 데이터셋: df# 상관계수 행렬 계산corr_matrix = df.corr()#..

아래 내용은 모두연 프로덕트 데이터분석가 1기 과정중 4일 동안 진행되는 Main Quest04 실습을 정리한 내용입니다따라서 출처는 모두연 PDA교육내용이며 제가 추가로 정리한 내용을 포함 합니다. (무단 배포와 사용은 저작권 침해에 대한 법적 조치가 따를 수 있습니다.)자 그럼 시작해 볼까요?1일차(2/24) : 팀 빌딩과 데이터 분석OT ( 10:10 ~ 10:30 )팀별 아이스브레이킹데이터 분석파일별 데이터 확인데이터 상세 내용 확인데이터셋 간 연계방안 고민분석 방향 논의(주제 선정)2일차(2/25) : EDA와 feature engineering / 분석 전략 수립조별로 가설설정 해보기프로젝트 계획세우기(일별/시간별)데이터 전처리결측치 처리 방법 논의 / 결측치 채우기이상치 탐지3일차(2/26)..

아래내용은 모두연의 프로덕트데이터분석1기 수업내용중에 정리한 겁니다. Pandas : 파이썬을 지원하는 페키지Dataframe : 판다스에서 제공하는 데이터(엑셀과 비슷하다)index, row(행), column(열, 변수, Feature)독립변수를 잘 활용해서 종속변수를 예측data.head()data.tail() : 뒷에 5일반적으로 1: yes, 0:No  data.info() : 컬럼에 대한 정보, 데이터라인, 컬럼몇개, 내용 제대로 들어가있는 데이터값, Dtype(데이터 타입) 을 알려줌data.describe() : object를 뺀 숫자형태의 데이터를 보여줌교육과정중에 자주 등장하는 메소드 10개 입니다. 숙지 하셨다가 잘 활용해 보세요.!!NO.메소드설명1..describe()DataFra..

실제로 읽고 정리 해보았습니다.책은 한번 읽고 완전히 알수 없다고 생각하여 계속 업그레이드 할 예정이며 이번글에서는 1차로 정리 한 내용입니다.데이터의 문해력 어떻게 보면 ? 데이터는 데이터지 더이상 알게 있을까? 라고 생각할 수 있습니다. 아래는 도서에서 중요하다고 생각되는 내용입니다. (출처 : 데이터 문해력 중) 여러 분야의 현업에 종사하시는 분들이 많으시겠지만 정말 기준, 정답 이 있다면 정말 좋을거 같습니다.여담이지만 공정관리(일정관리)에서도 어려운점이 정해진 기준이나 법칙이 없습니다. 회사마다 다르고 프로젝트 마다 다르고 발주처의 성향에 따라 다르고 결국은 상황이나 환경에 맞는 관리를 한다는게 어렵게 느껴졌었거든요. 제가 생각하는 한가지 돌파구는 그렇다면 여러 프로젝트에 대해 경험해보고 여러환..

데이터 분석가는 보고서작성, 시각화, 통찰력, 비즈니스/도메인 지식의 능력이 필요하다.여기서 비즈니스/도메인 지식은 특정 산업이나 회사의 주요 활동 영역에 대한 이해를 말하며, 쉽게 말해, “이 회사가 어떻게 돈을 벌고, 고객에게 어떤 가치를 제공하며, 어떤 방식으로 운영되는지”를 아는 것입니다.예를 들어, 편의점에서 수입 맥주 판매 데이터를 분석한다고 할 때, 수입 맥주가 4캔 묶음으로만 기록된다는 점을 모른다면 잘못된 결론을 내릴 수 있습니다. 따라서 이런 산업 특성을 알고 있어야 분석 결과가 실제로 유용해집니다. 이렇게 비즈니스/도메인 지식은 데이터 분석 결과를 실질적으로 활용 가능하게 만드는 핵심 요소입니다.파이썬 머신러닝 판다스 데이터 분석 (개정판)오승환 (지은이)   정보문화사   2024-..