데이터분석가 기술블로그

"설비 시운전(ENG Process)"은 설비가 설치된 후 실제 운전 환경에서 정상적으로 작동하는지 확인하고, 이를 최적화하는 과정입니다. 이 과정은 설비의 기능이 정상적으로 작동하는지 점검하고, 안전하게 운영할 수 있도록 조정하는 단계로 매우 중요합니다.1. 목적설비가 설계대로 기능하고, 안전하게 작동하는지 확인하는 것이 주 목적입니다.이를 통해 설비가 최적의 성능을 발휘하고, 문제가 생기지 않도록 예방하는 것이 목표입니다.2. 설비 시운전(ENG Process)의 주요 단계1. 시운전 계획 수립 (Pre-commissioning)목표: 시운전이 원활하게 진행될 수 있도록 계획을 세웁니다.활동: 설비에 필요한 매뉴얼, 기술 문서, 시운전 체크리스트 등을 준비합니다. 시운전 전, 설비의 모든 부분이 설치..

LOOP TEST는 회로 테스트에서 자주 사용되는 기법으로, 전기 회로에서 각 구성 요소의 동작을 확인하는 방법입니다.이 테스트는 주로 제어 시스템이나 전기 회로의 안정성을 점검하는 데 사용됩니다.쉽게 설명하면, 회로에 흐르는 전류와 그에 따른 피드백을 통해 시스템이 올바르게 작동하는지 확인하는 과정입니다.LOOP TEST를 간단하게 설명할 때 중요한 점들을 순서대로 설명하겠습니다.1. 목적회로 또는 시스템이 예상대로 작동하는지 확인하기 위해서 사용됩니다.예를 들어, 전기 회로에서 신호가 예상되는 경로대로 흐르고 있는지, 각 부분이 정상적으로 동작하는지 점검하는 과정입니다.2. 기본 원리회로의 입력을 주고 출력이 예상한 대로 나오는지 확인합니다.테스트는 입력 → 시스템 → 출력 순으로 진행됩니다. 출력이..

이번에는 pandas의 문법과 다양한 메서드를 활용해 본 적이 있고, 코드를 보면 어느 정도 이해할 수 있습니다.matplotlib을 활용해서 데이터 시각화를 해본 적이 있고, 코드를 보면 어느 정도 이해할 수 있습니다.데이터셋을 train/test 데이터셋으로 나누어서 모델을 학습 및 검증해본 경험이 있다.목표다양한 피처가 있는 데이터셋을 밑바닥부터 샅샅이 뜯어보고, 전설의 포켓몬을 분류하기 위한 피처에는 무엇이 있는지 생각해 보자.모델 학습을 시작하기 전 모든 컬럼에 대해 그래프 시각화, 피벗 테이블 등을 활용하며 다양한 방법으로 충분한 EDA를 진행하자.모델 학습에 넣기 위해서 전처리가 필요한 범주형/문자열 데이터에 대한 전처리를 원-핫 인코딩 등으로 적절하게 진행.전체 데이터셋을 train/tes..

공정관리(Construction/Project Scheduling)와 생산관리(Production Management)는 개념적으로 비슷해 보일 수 있지만, 적용되는 산업과 목적이 다릅니다.공정관리 전문가로써 아직 국내에서는 이둘을 혼용해서 사용하는 경우가 많습니다.공정이라는 단어때문에 그런거 같습니다.공정(工程)의 뜻"공정(工程)"은 두 개의 한자로 이루어진 단어로공(工, 장인 공)‘일하다, 만들다, 기술’ 등의 의미를 가짐.예: 공업(工業, 제조업), 공장(工場, 생산하는 장소), 기술공(技術工, 기술자)정(程, 한도 정)‘과정, 단계, 정도, 계획된 길이’ 등의 의미를 가짐.예: 과정(過程, 지나가는 단계), 정도(程度, 일정한 수준)공정(工程)의 의미일정한 순서에 따라 작업이 진행되는 과정제품을 ..

시간을 다룬 기계 어떻게보면 패러독스 이지만 자신의 과거에대한 후회를 고치고싶은 인간의 욕망을 시간을 다룬다는 관점에서 전개한 영화~주어진시간안에 모든것이 돌아가는 제약이론에 기반한 참신한 영화 시간을 가장잘 시각적으로 표현한 영화가 아닌가.치밀한 설계와 그것을 실행하는 자 그리고 주변에서 이들을 지켜보는자 어쩌면 우리가 공동의 목표아래 설계하고 계획해서 실행하며 그것을 관찰하고 비교분석하는것 이런일이 공정관리라는 것이다.주어진 장소에 따라 시간의 흐름이 다르다는것이 나온다 중력과 연관하여 시간의 흐름이 다른다는 내용인데 공정관리에선 이를 가중치라고 한다. 모든 resorce들의 중요도가 다르다는것이다. 이 중 선택한다면 당연 가장중요한것을 선택하고 관리하는것이 공정관리인 샘이다.공정관리와 가장 연관이 ..

MCX는 ① MCX는 각 요소작업의 공기 대 비용의 관계를 조사하여 최소의 비용으로 공기를 단축기 위한 기법으로 CPM(Critical Path Method)의 핵심이론이다. ② 각 단위작업의 공기 대 비용의 관계를 조사하여 최소의 비용으로 공기를 단축하는 것이다. 구체적인 절차는 우선 주공정(CP, Critical Path)상의 단위작업 중 비용구배(cost slope)가 가장 작은 단위작업부터 단축해 가며 이로 인해 변경되는 주공정 경로를 따라 단축할 단위작업을 결정한다. [출처] MCX는|작성자 승현재현 이방법외에 대표적인 공정관리에서 공기단축을 하는 방법으로는 두가지 가 있으며 1st. Crashing(공정압축법) 단축 일부일정에 리소스(비용, 인력, 장비 외 자원)을 투입하여 공정을 단축하는 기..

geopy 모듈은 지리적 좌표(위도, 경도)를 기반으로 거리 및 위치 정보를 다룰 수 있는 라이브러리로.특히 위도(latitude), 경도(longitude) 데이터를 활용하여 두 지점 간의 실제 거리(km)를 계산할 때 많이 사용됨.geopy가 필요한 이유1. Haversine 공식보다 더 정확한 거리 계산 가능지구가 완벽한 구체가 아니기 때문에, Haversine 공식은 오차가 발생할 수 있어.geopy.distance.geodesic()은 지구의 타원체 모델(WGS-84)을 사용하여 보다 정확한 거리(km)를 반환해.2. 위도/경도를 이용한 실시간 거리 계산 가능고객(lat, long)과 가맹점(merch_lat, merch_long) 간의 거리를 구하는 데 사용 가능.지도 데이터를 활용하는 머신러..

이번내용은 모두연 프로덕트데이터분석가1기 수료과정 중 과제를 참고하였습니다. 신용카드 이상감지 모델을 만들기 위한 데이터이며, is_fraud가 사기거래 여부를 나타내는 변수이다.최종적으로 사기거래 여부를 예측하기 위한 데이터를 준비해보는 실습입니다.사기거래 여부를 예측하는 데 불필요한 컬럼을 제거합니다.최소 2개 이상의 새로운 피처(변수)를 생성해봅시다.[힌트] 구매 금액, 시간 등의 변수를 이용할 수 있습니다.데이터의 위도/경도 정보를 활용해볼 수 있을까?통계적 관점으로 접근하여 유용한 변수를 만들어낼 수 있을까?평가문항상세기준1. 다수의 컬럼이름을 변경하고, 다양한 방법으로 결측치를 처리할 수 있는가?컬럼 이름의 변경이 명확하게 반영되어 있고, 다양한 방법으로 효과적인 결측치 처리를 진행할수 있는가..

ADsP시험 내용 중 용어 중심으로 정리 하였습니다. Accuracy와 Precision1) Accuracy (정확도) : "전체 중에서 맞춘 것", "중앙을 맞췄는가?"전체 데이터 중에서 정답을 맞춘 비율을 의미함.공식: TP (True Positive) ↑ : 실제 긍정(Positive)이고 예측도 Positive(긍정), Accuracy가 높으므로 TP가 많은 편TN (True Negative) ↑ : 실제 Negative(부정)이고, 예측도 Negative(부정), Accuracy가 높으므로 TN도 많은 편  FP (False Positive) ↑ : 실제 Negative(부정)인데, 예측을 Positive(긍정), Precision이 낮다는 것은 긍정으로 예측한 것 중에서 틀린 비율(FP)이 높..

1. 데이터 확인 및 기본 통계 .head() / .tail()데이터의 처음(head()) 또는 마지막(tail()) 몇 개의 행을 확인하는 메소드.예시 df.head(5) # 상위 5개 행 출력 df.tail(3) # 하위 3개 행 출력 활용데이터의 기본 구조 및 최근 데이터를 빠르게 확인. .describe()데이터의 기본적인 통계 정보(평균, 표준편차, 최소·최대값 등)를 요약하여 제공.예시 df.describe() 활용데이터의 분포를 빠르게 파악하고, 이상치를 탐색. .value_counts()범주형 데이터의 각 값이 몇 번 등장했는지 계산.예시 df['gender'].value_counts() 활용성별, 카테고리 등 그룹별 빈도 분석. .nunique() / .unique()nunique(): ..

이내용은 모두연의 프로덕트데이터분석가1기 교육 과정의 하나이며, 추후 복습 차원에서 정리한 내용입니다. Feature Engineering을 통해 주어진 데이터에서 추가적인 정보를 추출하고, 이를 아이디어와 파이썬 코드로 구현하는 방법.목표 :상황에 맞게 다양한 방법으로 데이터를 처리할 수 있다.주어진 데이터에서 추가적인 정보를 이끌어 낼 수 있다.요즘 나오는 머신러닝에서는 자동적으로 Feature Engineering을 해주는 경우도 있는데, 그런경우의 단점은 맥락과 상관없이 그냥 다양한 연산을 적용한다는거죠. 스피드 데이팅은 짧은 시간 동안 여러 명의 이성과 대화를 나누고, 서로 관심이 있는 경우 후속 만남을 가질 수 있도록 하는 만남의 방식입니다.진행 방식참가자들은 보통 한 장소에 모여 여러 명의 ..

1. Feature Engineering이란?Feature Engineering은 데이터에서 모델의 성능을 극대화할 수 있도록 특징(feature)을 변형, 생성, 선택하는 과정이다. 머신러닝 모델의 성능은 데이터의 질에 크게 의존하기 때문에, Feature Engineering은 매우 중요한 과정이다.2. Feature Engineering의 핵심 과정Feature Engineering은 보통 다음 4가지 과정으로 나뉜다.Feature 생성 (Feature Creation)원본 데이터에서 새로운 특징을 만들어냄예: 날짜 데이터를 기반으로 '연도', '월', '요일'을 추가Feature 변환 (Feature Transformation)데이터를 모델이 잘 이해할 수 있도록 변형예: 로그 변환, 스케일링 (..

#군집 k-Means# 기본 라이브러리 불러오기import pandas as pdimport matplotlib.pyplot as plt'''[Step 1] 데이터 준비'''# Wholesale customers 데이터셋 가져오기 (출처: UCI ML Repository)uci_path = 'https://archive.ics.uci.edu/ml/machine-learning-databases/\00292/Wholesale%20customers%20data.csv'df = pd.read_csv(uci_path, header=0)'''[Step 2] 데이터 탐색'''# 데이터 살펴보기df.head()# 데이터 자료형 확인df.info()RangeIndex: 440 entries, 0 to 439Data c..

해당내용은 정보문화사 파이썬 머신러닝 판다스 데이터 분석 교재를 기준으로 했으며, 책 소개는 아래를 참고하시기 바랍니다. 데이터분석가 관련 도서 https://nesaram-health-1story.tistory.com/136 데이터 분석가 관련 추천도서데이터 분석가는 보고서작성, 시각화, 통찰력, 비즈니스/도메인 지식의 능력이 필요하다.여기서 비즈니스/도메인 지식은 특정 산업이나 회사의 주요 활동 영역에 대한 이해를 말하며, 쉽게 말해nesaram-health-1story.tistory.com# 기본 라이브러리 불러오기import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport seaborn as sns'''[Step 1] 데이터..

머신러닝 (Machine Learning)과 딥러닝 (Deep Learning)의 차이점과 관계1. 머신러닝 (Machine Learning)정의: 머신러닝은 데이터를 분석하고, 데이터를 기반으로 예측 모델을 만들거나, 패턴을 학습하는 알고리즘의 집합입니다. 인간이 명시적으로 프로그래밍하지 않고도 컴퓨터가 데이터를 통해 학습하고 스스로 결정을 내릴 수 있도록 하는 방법론입니다.핵심 개념:지도 학습 (Supervised Learning): 입력과 출력 데이터가 주어지면, 이 데이터를 바탕으로 모델을 학습시켜 새로운 입력에 대한 출력을 예측합니다.비지도 학습 (Unsupervised Learning): 출력 데이터 없이, 주어진 입력 데이터에서 패턴이나 구조를 찾아냅니다. 예를 들어, 군집화(clusteri..

EDA를 효과적으로 훈련하기 위한 단계1. 데이터 이해 및 준비 •데이터의 구조 파악: `head()`, `tail()`, `info()`, `describe()` 등을 사용해 데이터의 기본 정보를 확인합니다. •결측치 및 이상치 확인: 결측값(`isnull()`), 이상치(박스플롯 등)를 찾아내고 처리합니다. •데이터 타입 확인 및 변환: 각 열의 데이터 유형을 확인하고 필요 시 변환합니다.2. 기초 통계 분석 •평균, 중앙값, 표준편차 등 주요 통계값을 계산하여 데이터 분포를 이해합니다. •속성 간 상관관계 분석: `corr()` 함수와 히트맵(Heatmap)을 사용해 변수 간 관계를 시각화합니다.3. 시각화를 통한 탐색 •히스토그램, 박스플롯, 산점도 등을 활용해 데이터를 다양한 각도에서 시각화합니..

CPM(Critical Path Method)과 CCM(Critical Chain Method)은 프로젝트 일정 관리에서 중요한 두 가지 기법입니다. CPM (Critical Path Method)CPM은 프로젝트의 가장 긴 경로, 즉 ‘크리티컬 패스’를 찾아 관리하는 방법입니다.주요 특징:• 모든 자원이 가용하다고 가정• 작업 간의 논리적 순서와 의존성에 초점• 여유 시간(float)을 각 작업에 분산쉬운 비유:CPM은 마치 도로 여행을 계획하는 것과 같습니다. 목적지까지 가는 여러 경로 중 가장 오래 걸리는 경로(크리티컬 패스)를 찾아 관리합니다. 이 경로에서 지연이 발생하면 전체 여행 일정이 늦어집니다.CCM (Critical Chain Method)CCM은 자원의 제약을 고려하여 일정을 관리하는 ..

보일러 설치후 5년정도 지났습니다.당연히 10년사용이라고 제품에는 라벨이 붙어있지만 5년이 지나니 에러메시지가 뜹니다 01 이렇게되면 난방, 온수 다 안됩니다. 보일러에서 물을 데워줘야되는데 보일러에서 점화에 문제가 있어 물을 데울수가 없는거죠.기사분이 콘트롤러 를 바꿔야한다고 해서 20~30만원대 의 금액으로 고치고 나서 1년뒤 다시 에러메시지 01이 뜹니다.여기서 짚고 넘어가야되는게 보일러부품을 갈면 6개월 보장입니다. 그전에는 무상교환(교환시기는 부품주문하고 설치하고 1주일정도 걸립니다) 당연히 그동안 보일러 사용못하죠. 우리나라는 사계절이 있어서 보통 겨울에만 보일러를 사용합니다. 여름에 온수는 써도 난방까지 사용은 많이 안하죠 결국 다시 겨울이 와서 본격적으로 사용할때는 이미 교체한 부품의 보장..

abs(): 숫자의 절대값을 반환합니다.all(): 반복 가능한 객체의 모든 항목이 참이면 True를 반환합니다.any(): 반복 가능한 객체의 어떤 항목이라도 참이면 True를 반환합니다.ascii(): 객체의 읽을 수 있는 버전을 반환합니다. 비 ASCII 문자를 이스케이프 문자로 대체합니다.bin(): 숫자의 이진 버전을 반환합니다.bool(): 지정된 객체의 불리언 값을 반환합니다.bytearray(): 바이트 배열을 반환합니다.bytes(): 바이트 객체를 반환합니다.callable(): 지정된 객체가 호출 가능하면 True를, 그렇지 않으면 False를 반환합니다.chr(): 지정된 유니코드 코드의 문자를 반환합니다.classmethod(): 메서드를 클래스 메서드로 변환합니다.compile(..

1. 데이터 분석 개념 및 기초 통계1. 데이터 분석의 3단계(정의, 수집, 분석)?정의: 문제를 명확히 설정수집: 데이터 확보 및 정리분석: 데이터 탐색 및 모델 적용2. 정형 데이터 vs 비정형 데이터?정형 데이터: 엑셀, 데이터베이스(SQL)처럼 구조화된 데이터비정형 데이터: 이미지, 동영상, 텍스트 등 구조화되지 않은 데이터3. 모수적 분석 vs 비모수적 분석?모수적 분석: 데이터가 정규분포를 따르는 경우 사용 (t-test, ANOVA)비모수적 분석: 데이터 분포 가정 없이 사용 (카이제곱 검정, 순위 검정)4. 평균, 중앙값, 최빈값 차이?평균(mean): 모든 값을 더한 후 개수로 나눈 값중앙값(median): 데이터를 정렬했을 때 중간 값최빈값(mode): 가장 많이 등장한 값5. 데이터 ..