데이터분석가 기술블로그

이것만은 알고가자~범주형 자료 분석분할표 분석: 데이터 간의 관계를 교차표로 나타냄.카이제곱 검정: 독립성 검정, 동질성 검정에 사용.피셔 정확 검정: 작은 표본에서 독립성 검정을 수행.로지스틱 회귀분석: 범주형 종속변수와 연속형 독립변수 간의 관계를 분석다변량 분석상관관계 분석: 피어슨 상관계수, 스피어만 상관계수 등.주성분분석(PCA): 차원 축소를 통해 데이터의 주요 패턴을 파악.다차원 척도법(MDS): 데이터 간의 유사성을 시각화시계열 분석데이터의 시간적 변화를 연구하며 정상성과 비정상성을 판단.ARIMA, SARIMA 모델을 사용하여 예측 수행베이지안 기법조건부 확률 및 베이즈 정리를 기반으로 한 확률적 모델링.불확실성이 높은 상황에서 의사결정을 지원비정형 데이터 분석텍스트, 이미지, 소셜 미디..

1. 가설검정 (Hypothesis Testing)출제빈도: ★★★★★ (매우 자주 출제됨)핵심 개념: 모집단의 특성을 표본을 통해 검정하는 방법(1) 기본 개념귀무가설 (H0) vs 대립가설 (H1)H1H_1H0H_01종 오류 (Type I Error) & 2종 오류 (Type II Error)유의수준 (α)과 검정력 (Power)α\alpha(2) 주요 가설검정 기법단일표본 Z-검정: 모집단의 평균이 특정 값과 같은지 검정단일표본 t-검정: 모집단의 분산이 알려지지 않았을 때 평균 검정독립표본 t-검정: 두 모집단의 평균 차이 검정대응표본 t-검정: 같은 집단의 전후 비교 (Before-After)카이제곱 검정: 범주형 변수 간 독립성 검정2. 신뢰구간 (Confidence Interval)출제빈도:..

1과목: 빅데이터 분석기획① 빅데이터의 정의와 특징 (3V → 5V)3VVolume(규모): 데이터의 크기Variety(다양성): 정형, 비정형, 반정형 데이터Velocity(속도): 빠르게 생성되고 처리되는 데이터추가된 특성(5V): Veracity(신뢰성), Value(가치)암기 TIP: "빅데이터는 크고(Volume), 다양하며(Variety), 빠르고(Velocity), 신뢰할 수 있어야(Veracity), 가치(Value)를 창출한다."데이터 분석 프로세스(CRISP-DM) 6단계비즈니스 이해 → 데이터 이해 → 데이터 준비 → 모델링 → 평가 → 배포암기 TIP: "비데준 모평배" (비즈니스 이해→데이터 이해→준비→모델링→평가→배포)빅데이터 기술구조 및 플랫폼하둡(Hadoop): HDFS(분산..

1. 결측치 처리 문제문제:근속연수 컬럼의 결측치를 부서와 성과등급별 평균값으로 대체하고, 결측치가 채워진 후 근속연수 컬럼을 정수형으로 변환하세요.풀이:부서와 성과등급별로 그룹화하여 평균값 계산:pythongroup = df.groupby(['부서', '성과등급'])['근속연수'].mean()결측값을 그룹별 평균값으로 대체:pythonnew_work_list = [] for index, value in enumerate(df['근속연수']): if pd.isna(value): *# 결측치 확인* buseo = df['부서'].iloc[index] sunggwa = df['성과등급'].iloc[index] new_work_list.append(group.loc[(buseo, sunggwa)]) else:..

EDA를 효과적으로 훈련하기 위한 단계1. 데이터 이해 및 준비•데이터의 구조 파악: `head()`, `tail()`, `info()`, `describe()` 등을 사용해 데이터의 기본 정보를 확인합니다.•결측치 및 이상치 확인: 결측값(`isnull()`), 이상치(박스플롯 등)를 찾아내고 처리합니다.•데이터 타입 확인 및 변환: 각 열의 데이터 유형을 확인하고 필요 시 변환합니다.2. 기초 통계 분석•평균, 중앙값, 표준편차 등 주요 통계값을 계산하여 데이터 분포를 이해합니다.•속성 간 상관관계 분석: `corr()` 함수와 히트맵(Heatmap)을 사용해 변수 간 관계를 시각화합니다.3. 시각화를 통한 탐색•히스토그램, 박스플롯, 산점도 등을 활용해 데이터를 다양한 각도에서 시각화합니다.•Sea..

기본 원칙(나만의 원칙이므로 개인별로 맞는 기준을 설정하시는게 좋습니다.) 참고만 하세요.집중력 높은 오전: 사고력과 기억력이 좋은 오전 시간에 학습량이 많은 과목(빅분기, GA 강의)을 배치연계 학습: 구글 애널리틱스 강의와 빅분기 관련 개념을 선후행으로 배치해 연관 학습 강화오후 블록 학습: 피로도를 고려해 독서 및 블로그 정리를 배치휴식 & 리프레시: 집중이 필요한 학습 후 가벼운 활동(산책, 짧은 휴식) 배치시간표시간활    동07:30 - 08:00기상 & 가벼운 스트레칭08:00 - 09:00아침 식사 & 휴식 (1시간)09:00 - 11:00빅분기 시험 공부 (이론 개념 정리 & 문제풀이)11:00 - 12:00구글 애널리틱스 강의 수강 (빅분기 관련 내용 연결 학습)12:00 - 13:00..

스터디카페 (이기적스터디카페)https://cafe.naver.com/yjbooks?tc=shared_link(하루 평균 1시간 기준)[1~8일차] 핵심 개념 빠르게 정리하기 (중요 개념만)개념당 20분씩만 압축 정리, 매일 요약 노트 작성 필수1일차: 데이터 이해 및 활용 (60분)데이터 개념, 유형(20분)데이터 수집, 저장, 처리 기술(20분)데이터 품질 관리(20분)2일차: 데이터 분석 기획 (60분)분석 목표 수립(20분)분석 방법론(20분)분석 프로젝트 관리(20분)3일차: 데이터 전처리 기법 (60분)정제 및 변환(20분)이상치 및 결측값 처리(20분)피처 엔지니어링(20분)4일차: 데이터 탐색 분석 (60분)기술 통계 핵심(20분)시각화 핵심(Histogram, Box plot 등)(20분..

빅데이터 분석기사(Big Data Analyst, BDA) 시험은 한국데이터산업진흥원(K-DATA)에서 주관하는 국가기술자격 시험으로, 빅데이터를 활용한 데이터 분석 역량을 검증하는 자격증이다.1. 시험 개요정식 명칭: 빅데이터 분석기사영문 명칭: Big Data Analyst (BDA)주관 기관: 한국데이터산업진흥원(K-DATA)응시 자격: 제한 없음 (누구나 응시 가능)시험 방식: 필기(객관식) + 실기(주관식 및 실습)2. 시험 과목 및 출제 내용1차 필기 시험 (객관식 4지 선다형, 100점 만점, 60점 이상 합격)과목 주요 내용빅데이터 분석 기획데이터 분석 프로세스, 비즈니스 요구 사항 정의빅데이터 탐색데이터 수집, 전처리, 데이터 유형 및 구조 분석빅데이터 모델링통계 기법, 머신러닝, 데이터..