데이터분석가 기술블로그

로지텍마우스 게임용 마우스 이지만 강추한다. 물론 게임외에도 강추다.수많은 옵션의 동작, 키보드, 매크로 등을 마우스에 단축키로 지정할 수 있다.물론 사용자 조합도 된다.우선 Enter키는 대부분 키보드에서 사용한다. 하지만 이게 마우스에 있으면 손가락만 약간 움직이면된다.마우스 손잡이 엄지손가락 근처임 해당키에 기본값인 명령으로 Enter키를 마우스로 드래그 해서 해당 버튼에 가져오면 자동 설정끝.한참 사용하다가 Shift + Enter쓸일이 은근히 많아졌다. 다들 아시겠지만 Enter 와는 또 다른 경우다 예를 들면 카카오 차에서 Enter기능을 하는것이 ↑ 키 인것을 다들 알것이다 치면 문자작성한게 화면에 표시되지만 그냥 Enter를 치면 한줄 내려가서 계속 작성이 된다. 이기능이 노트북이나 일반..

세미나도 진행해주셔서 무료로 들었습니다.여기 참고하세요https://event-us.kr/kdevcon/event그럼 이세미나하신분이 책도 내셨어요된다! 최반장의 실무 엑셀 with 피벗 테이블은 단순히 엑셀 기능을 배우는 책이 아니라, 실무에서 데이터를 다루는 데 필요한 핵심 기술과 저자의 진심 어린 노하우를 담은 작품입니다.이 책은 엉망으로 저장된 데이터를 정리하고, 피벗 테이블을 활용해 데이터를 분석하며, 설득력 있는 보고서와 대시보드로 완성하는 과정을 친절하게 안내합니다. 특히, 저자가 직접 제작한 88개의 무료 동영상 강의와 QR코드를 통해 학습 효과를 극대화할 수 있어 독자와 소통하려는 마음이 느껴집니다.저자 최재완(최반장)은 12년간 실무 경험을 바탕으로 팀원들에게 엑셀을 가르쳤던 마음을 책..

LG의 brid.zzz는 뇌파를 측정하고 조절하는 기능을 통해 심리적 안정과 수면 개선을 돕는 웰니스 기기입니다. 주요 기능은 다음과 같습니다:• 마인드케어: 스트레스 완화와 심리적 안정에 도움을 주며, 개인화된 뇌파 조절 사운드와 호흡법을 제공합니다.• 슬립케어: 수면 단계(얕은 잠, 깊은 잠, REM 수면)를 실시간으로 감지하여 최적의 수면 사이클을 유도합니다. 사용자의 상태에 따라 적합한 사운드를 제공하며, 수면 데이터도 기록됩니다.이 기기는 귀 바퀴에 착용하며, 특수 전극을 통해 뇌파를 분석합니다. 기존 바이노럴비트 기술을 개선한 다이내믹 바이노럴비트를 활용해 효과를 극대화합니다.마인드 컨트롤, 명상 과 같이 하면 효과가 극대화 할거 같습니다.깔끔한 디자인 받아보고 벌써 신뢰가 갑니다.개봉전입니다..

생성형 AI의 최신 발전 – Part 2생성형 AI는 빠르게 진화하며 초기의 단순한 활용 사례를 넘어 실제 문제를 해결하는 포괄적인 솔루션으로 발전하고 있습니다. 주요 발전 사항은 다음과 같습니다:1. “Act Two” 애플리케이션으로의 전환생성형 AI는 단순한 데모에서 벗어나 인간의 문제를 처음부터 끝까지 해결하는 방향으로 나아가고 있습니다. Harvey와 Glean 같은 기업은 특정 도메인에 특화된 대규모 언어 모델을 활용하고 있으며, Midjourney와 Runway 같은 도구는 고급 편집 인터페이스와 멀티모달 기능을 제공하여 사용자 경험을 혁신하고 있습니다.2. AI와 로봇공학의 융합AI 기반 로봇은 이제 적응형 시스템으로 발전하여 추론과 의사결정이 가능한 단계에 이르렀습니다. Vision-Lan..

생성형 AI의 최신 발전 – Part 1생성형 AI는 다양한 분야에서 빠르게 발전하고 있습니다. 주요 동향은 다음과 같습니다:1. 대규모 언어 모델(LLMs)의 발전 • ChatGPT와 같은 대규모 언어 모델은 생성형 AI의 핵심 기술로 자리 잡았습니다. • 텍스트, 이미지, 코드 생성 등 다양한 작업에 활용되며, 번역, 질문 응답, 창의적 글쓰기와 같은 응용 분야에서 두각을 나타내고 있습니다.2. 이미지 생성 기술의 혁신 • Stable Diffusion, MidJourney와 같은 확산 모델(Diffusion Models)이 텍스트-이미지 생성 분야를 선도하고 있습니다. • 이 기술은 텍스트 프롬프트를 기반으로 고품질 이미지를 생성하며, 노이즈에서 시작해 점진적으로 이미지를 복원하는 방식으로 작동합니..

태블로에 스토리 기능이 클라우드 슈퍼셋에도 구현이 되네요. 오히려 메뉴식으로 되어있어 더 깔끔한듯 합니다. 기능은 맨밑에 내용입니다. 클라우드 Superset 시각화 사용 후기프로그램자체가 너무 가볍네요. 협업툴로도 손색이 없고 단 클라우드 슈퍼셋은 유료입니다. 무료로는 14일 무료로 사용가능해요.차트에서 바차트나 파이차트 선택하고 Dimensions, Metric, 필요하면 Filters 에 컬럼입력하면 바로 파이차트가 됩니다.위에 창은 필터 구현은 안한거라 최소 필터 종류에 따라 3 x 4 (물론 필터에 입력한 컬럼의 내용수에 따라 정해집니다.)총 12가지 필터 수치에 의한 파이차트가 표현가능 합니다.아래처럼 레이아웃을 설정하여 메뉴처럼 넘어갈수도 있네요. 이기능은 정말 좋은것 같습니다. 아래는 A..

5. Superset 대시보드 구성 예시 (이 데이터 기반)차트 제목차트 유형필터버전별 Retention 비교Bar ChartGroup by: version유저당 평균 게임 횟수KPI 또는 Box Plot전체활동 시간대별 평균 게임 횟수Bar ChartGroup by: activity_time유료 사용자 전환율KPI (Big Number)필터 없음ARPU (사용자당 수익)KPI필터 없음 특히 제가 준비한 CSV 데이터에는 referrer, channel, signup_date 같은 유입(Acquisition) 관련 정보가 없기 때문에 AARRR의 시작점인 "획득(Acquisition)"을 분석하기엔 정보가 부족함.반대로 사용자 유지와 활성화, 수익 기여도 분석에는 매우 적합한 구조라서 RARRA 분석이 ..

두 개념 모두 사용자 여정(User Journey)에 기반하고 있지만, 집중하는 관점이 다름1. AARRR 프레임워크1.1. 사용 분야스타트업 성장 전략제품 초기 단계에서의 사용자 분석퍼널 분석(Funnel Analysis)그로스해킹(Growth Hacking)1.2. 구성 단계 (5단계)AARRR은 다음과 같은 순서로 구성됩니다.Acquisition (획득)사용자가 어떻게 서비스를 알게 되었는가예: 광고 클릭, 검색 유입, SNS 유입Activation (활성화)사용자가 첫 긍정적 경험을 했는가예: 회원가입 후 첫 사용, 첫 클릭, 튜토리얼 완료Retention (유지)사용자가 지속적으로 재방문/재사용 하는가예: 1주일 후에도 재방문, 푸시 알림 클릭Referral (추천)사용자가 다른 사람에게 서비스..

1. 실험 설계1-1. 샘플 수 및 비율 확인import pandas as pd import seaborn as sns import matplotlib.pyplot as plt df = pd.read_csv('final_cookie_cats_for_superset_02.csv') # 버전별 샘플 수 시각화 sns.countplot(x='version', data=df) plt.title('Version별 샘플 수') plt.show() # 비율 출력 print(df['version'].value_counts(normalize=True))1-2. 가설 설정 및 t-test 수행 (예: retention_1 기준)from scipy.stats import ttest_ind # retention_1: True..

Superset 클라우드 호스팅 서비스Preset.io: Superset을 만든 회사에서 운영하는 공식 상업용 SaaS사용자는 설치 없이 계정만 만들고 바로 협업 가능무료 플랜 제공 (기능 제한 있음)클라우드에서 Superset을 설치하면 협업에 최적화된 분석 환경 구성 가능Ubuntu 서버에 Superset을 설치해 공인 IP나 도메인을 통해 운영AWS EC2, Oracle Cloud, GCP 등이 설치 플랫폼으로 적합Nginx + HTTPS + 계정관리까지 구성하면 완전한 프로덕션 환경 가능Preset.io 계정 생성 및 사용법 Preset.io 계정 생성 및 사용법 가입한 후 한사람이 이메일 초대를 하면 서로 만날수 있다서로의 작업공간을 만들수 있다.Preset.io를 활용한 Superset 대시보..

먼저 Superset이 뭔지 왜 사용하는지 설명합니다. 설치부터 보실분은 아래 구분선 부터 보시면 됩니다.Superset(슈퍼셋)의 정의 및 특징:주요 특징 및 장점:오픈소스 & 무료누구나 자유롭게 사용 가능하고 커스터마이징도 자유로움.다양한 데이터베이스 지원MySQL, PostgreSQL, BigQuery, SQLite, Hive 등 대부분의 데이터베이스 연결 가능.풍부한 시각화 기능바 차트, 라인 차트, 히트맵, 산점도, 지도 시각화 등 다양한 시각화 유형 지원.인터랙티브 대시보드대시보드를 통해 여러 데이터를 동적으로 상호작용하며 분석 가능.빠른 분석 및 협업 용이성SQL 에디터 내장, 직관적인 인터페이스로 데이터 분석 속도가 빠르고, 팀 협업도 편리.확장성과 사용자 지정 기능사용자의 필요에 맞게..

Step 1: 기초 개념과 인터페이스 익숙해지기 (1~2일)핵심 목표: Power BI의 기본 개념, 인터페이스, 태블로와의 유사점 및 차이점 이해추천 강의 및 자료:유튜브 무료 강의:Microsoft 공식 채널 - Power BI 시작하기송윤희의 Power BI 기초 강의 (무료, 한국어)기초 블로그 글:Power BI 기초 완벽 정리 (마이크로소프트 공식 문서)Step 2: 데이터 가져오기 및 전처리 익히기 (2~3일)핵심 목표: 다양한 데이터 소스를 연결하여 데이터를 불러오고 간단한 데이터 클리닝, 변환 배우기추천 방법:Power Query 배우기 (태블로의 Data Source 탭과 비슷한 기능)Excel 데이터, CSV 파일 연결 → 데이터 유형 변경, 결측치 처리, 열 추가, 병합 등추천 강의..

목적과 활용보고서: 특정 이슈나 분석 결과를 상세히 서술하고 설명하는 문서 형태의 자료.대시보드: 핵심 정보를 빠르고 직관적으로 파악할 수 있도록 시각적으로 요약한 자료.정보의 표현 방식보고서: 주로 텍스트, 표, 그래프를 활용해 설명적이고 상세한 내용 전달.대시보드: 주로 그래프, 차트, 숫자 카드 등으로 시각화하여 직관적이고 즉각적인 이해 가능.정보의 양과 깊이보고서: 정보의 양이 많고 상세한 분석, 근거, 해석 등 깊이 있는 내용을 포함.대시보드: 정보가 압축적이고 핵심적이며, 한눈에 보이도록 최소한의 필수 정보만 표현.업데이트 주기 및 시간적 특성보고서: 주로 주간, 월간, 분기, 연간 등 주기적으로 작성하며 과거 데이터 중심.대시보드: 실시간 또는 매우 짧은 주기로 자동 업데이트 가능하며 현재 ..

데이터 분석가의 숫자유감대부분의 데이터분석관련책이 일본사람이 쓴도서가 많다. 그것도 약 10년전 그만큼 일본은 생산성과 데이터의 과거 기술은 무시할수 없다.그중에서 한국인이 쓴 책중에 가장 읽기 편하고 쉬운 책이 아닌가 생각된다.최근에는 책표지가 바꼈다. 책표지만 보고 우습게보면 안된다. 이책은 쉽게 읽을수있으면서 깊은 내용을 담고 있어 데이터분석가를 목표로 한다면 꼭 읽어 볼것을 권합니다.많은 내용이 들어있지는 안지만 시작하는 입장이라면 강추하는 책이 아닌가.책을 많이 읽어본 사람이라면 몇일내 일을수 있는 내용이라 무조건 읽거나 소장가치가 있는 책이라고 자부한다.난이도는 쉬운편이다.

1. OBS + 가상 카메라 + 정적인 영상/이미지 사용하기ZEP은 웹캠 장치를 불러오니까, 우리가 OBS로 꾸민 '가짜 카메라 영상'을 대신 넣으면 돼.단계별 방법:OBS 설치 후 실행이미지 소스를 추가해서집중하는 표정의 정지 이미지를 넣거나또는 짧은 **집중하는 영상 (루프 가능한)**을 넣기도구 → 가상 카메라 시작 클릭ZEP에 접속 → 카메라 설정 → ‘OBS Virtual Camera’ 선택이렇게 하면,다른 사람이 볼 때 너는 항상 정면을 보며 집중하고 있는 모습으로 보이고,실제 너는 화면을 안 보고 있어도 상관없어.2. 실제 웹캠 영상 대신 ‘루프 영상’ 활용하기예전에 녹화한 집중하는 5~10초짜리 영상을 OBS에 불러온 뒤, 루프 설정ZEP에서는 실시간 영상처럼 보여서 다른 사람이 모름3. ..

태블로 에서 최종 인터랙티브 한 동적효과 구현한 최종 결과물주간 Trend_주문수의 해당 주를 선택하면 나머지 지수와 그래프는 이에 맞게 실시간 변형됨Los Angeles CA지점을 선택하면 해당 지점의 정보와 오른쪽 센터위치의 날씨가 실시간 표시된다.Clear sky 맑은하늘물류센터를 다른쪽 선택시 오른쪽 센터위치 날씨가 실시간 바뀐다  overcast clouds : 흐린 구름아래는 로스엔젤레스 센터에서 Port Authority of New Youk센터까지의 물류이동시간과 경로가 나온다.물론 항공운송일때는 5시간10분차로 이동시에는 41시간 이다. 물류의 배송의 시급성에 따라 운송수단을 선택할 수 있다.물류센터 현황MQ06_C3_Project Lesson Learn  빅쿼리 작업연동하여 실시간 서비..

기본 계산 필드1. 배송 지연 여부 (숫자 플래그)IF [delivery_status] = "지연" THEN 1 ELSE 0 END용도: 지연률 계산, 지연 수량 집계2. 날씨별 지연률SUM(IF [delivery_status] = "지연" THEN 1 ELSE 0 END)/ COUNT([order_item_id])용도: 날씨 조건별 지연률 분석3. 비 또는 눈일 때 배송 상태IF [condition] IN ("Rain", "Snow") THEN [delivery_status] ELSE NULL END용도: 궂은 날씨일 때의 배송 결과만 필터링4. 날씨 + 배송상태 조합 필드[condition] + " | " + [delivery_status]용도: 교차표, 트리맵, 바 차트용 카테고리 생성예시:"Rai..

태블로에서 필요한 v_logistics_dashboard_4.csv 파일을 생성 후1. 대시보드 목적 정의목표: 배송 효율성과 고객 만족을 극대화하기 위해 주요 물류 KPI를 실시간으로 모니터링하고, 지역별/센터별 문제를 빠르게 식별2. 주요 KPI 지표 선정핵심 성과 지표(KPI):총 주문 수 (total_orders)지연 주문 수 (delayed_orders)반품 주문 수 (returned_orders)지연율 (delay_rate)반품율 (return_rate)정시배송률 (on_time_rate)SPI (Service Performance Index, spi_score)평균 배송일 (delivery_days)3. SPI 구상SPI 정의 예시 (데이터에 포함된 지수 기반):→ 이미 계산된 spi_sco..

태블로용 예측결과 데이터 생성현재 머신러닝 예측 중 One-Hot Encoding으로 인해 메모리 초과(MemoryError)가 발생이유는 state, name 같은 범주형 변수가 너무 많은 고유 값을 가져서 수천 개의 열로 확장되었기 때문.해결 방안범주형 변수는 Label Encoding으로 바꾸고, 나머지는 그대로 유지하여 메모리를 줄임. 다시 예측 파일을 생성. ​​여전히 메모리 초과가 발생. 데이터 양이 많아서 모델 전체 학습에 부담이 가는 상황. 이를 해결하기 위해:해결 전략데이터의 일부만 샘플링하여 모델을 학습하고 예측.샘플 데이터(예: 10,000건)를 사용하면 빠르게 예측 가능, 태블로 테스트용으로도 충분.  ​​지속적인 메모리 초과로 인해 학습 및 저장이 어려운 상황!해결 방안 요약 (태..

1. 운영팀: Sales 분석 대시보드목적: 일별/월별 매출, 주문/반품 현황, 전체 비즈니스 흐름 파악주요 분석 내용• 전체 매출 및 순매출 (반품 제외)• 주문 수, 반품 수, 반품률• 일/주/월별 매출 트렌드• 사용자당 평균 주문 수 & 평균 매출 (AOV)• 성별/연령대별 매출 분포필요한 테이블 및 컬럼• orders.csv• order_id, user_id, status, created_at, returned_at, delivered_at, num_of_item• order_items.csv• order_id, inventory_item_id, returned_at, status• inventory_items.csv• cost, product_retail_price• users.csv• age,..