Data Analyst

Sample variaton(S^2) : 분산우선 위의 이름과 같이 샘플에서의 분산에 대한 설명입니다. 데이터가 평균을 중심으로 얼마나 퍼져 있는지를 나타내는 통계적 지표입니다.즉, 각 데이터 포인트가 평균값에서 얼마나 떨어져 있는지의 평균을 계산한 값입니다. Sample Standard Deviation : 표준편차표준편차는 평균값에 대해서 얼마나 떨어져 있는지에 대한 정도를 평균화 한 것입니다. 위의 분산의 설명과 같습니다.하지만 표준 편차와 분산의 차이점은 명확합니다. 차이점분산 : 제곱된 거리의 평균입니다.표준 편차 : 분산에 루트를 씌워 원래 데이터와 동일한 단위를 가지도록 만든 값입니다. 위의 그림에서의 공식은 표준편차의 공식입니다. 여기서 제가 써놓은 것을 설명해보겠습니다.우선 키를 통해 예..

Mean(평균) 값이 더 클 경우정규 분포표를 보면 오른쪽으로 꼬리가 긴 그래프를 많이 보실 수 있습니다. 아래의 사진에서 왼쪽 그림과 같이요. 우선 알아야 할 것은 끝 값들이 바뀐다 해도 median 값은 바뀌지 않는 다는 것을 알고 있어야 합니다.이렇게 Mean 값이 커서 오른쪽으로 꼬리가 길어지는 이유는 끝에 있는 숫자들이 크고 끝에 있는 숫자들이 많기  때문입니다.  예시를 들어서 설명해보겠습니다. 해당 그래프를 하나의 반의 시험 성적이라고 해보겠습니다.만약 시험이 쉬워서 점수를 높게 받은 학생들이 많았습니다. 그러면 선생님은 우리 반 평균이 많이 높아졌다~ 라는 말씀을 하실 것입니다.이러한 예시와 같이 높은 점수가 있게 되면 평균이 높아지게 되고 그래프는 오른쪽으로 꼬리가 길어지게 됩니다. 그래..

1. 이산데이터(Discrete Data)우선 Count할 수 있는 데이터입니다. 우리가 예상할 수 있는 경우의 수를 셀 수 있을 때를 말합니다.예 : 주사위, 한 반에 있는 학생 수, 각 집마다의 방 개수 등.. Categorical Data라고도 합니다. 2. 연속성 데이터(Continuous Data)우선 Measured(~을 재다)한 데이터 입니다. 연속성 데이터는 저희가 셀 수 없는 단위로 되어 있습니다. 그 이유는 예시를 들어 설명하겠습니다.저의 키를 매우 정확하게 말하면 177.89623•••으로 해당 키의 소수점 자리들을 제대로 알 수 없으며 셀 수 없습니다.즉, 이러한 데이터를 연속성 데이터라 합니다. 그래서 해당 데이터를 세기 위해 그룹화하여 말하는 것입니다. 위의 키를 짐작으로 177..

Q1. p-value이란?우선 p-value에 대해 알기 전에 p가 무엇인지 알아야 합니다.여기서 p는 probability(확률)의 약자입니다. 즉, p-value는 확률 값이라는 의미입니다. Q2. 그럼 p-value가 무엇에 대한 확률인가?어떠한 사건이 우연히 발생할 확률입니다. Q3. 왜 p-value는 항상 0.05보다 작아야 합니까?우선 p-value가 가질 수 있는 값은 0~1까지 입니다.그냥 수학학자들이 해당 값으로 정한 것입니다.(해당 문제에 대해 알아봤지만 모르겠습니다.)즉, 5% 정도면 우연이 아닐 것이라는 추정이라는 뜻이기도 합니다.또는 내용 정리p-value가 0.05 이하라는 것은 어떠한 사건이 우연히 일어났을 것이라는 가능성이 없다는 것입니다. 또 다르게 말하면 이 사건은 우연..

해당 문제는 HackerRank에서 사용한 문제이며 모든 테이블의 자료와 출처는 Hackerank임을 밝힙니다.해당 글에서는 UNION, JOIN, GROUP BY, HAVING을 모두 사용하여 푸는 문제로 난이도가 매우 높은 문제입니다.해당 문제 원본을 확인 하시려면 해당 사이트를 들어가시면 될 것 같습니다. 시작하겠습니다Two pairs (X1, Y1) and (X2, Y2) are said to be symmetric pairs if X1 = Y2 and X2 = Y1.Write a query to output all such symmetric pairs in ascending order by the value of X. List the rows such that X1 ≤ Y1.(X1 = Y2이고 ..

해당 문제는 LeetCode에서 사용한 문제이며 모든 테이블의 자료와 출처는 LeetCode임을 밝힙니다.해당 글에서는 SELF JOIN를 사용하여 푸는 문제로 저 같은 초보자에게는 매우 난이도가 있는 문제인 것 같습니다.해당 문제 원본을 확인 하시려면 해당 사이트를 들어가시면 될 것 같습니다. 시작하겠습니다.Write a solution to find all dates' id with higher temperatures compared to its previous dates (yesterday).(이전 날짜(어제)에 비해 온도가 높은 모든 날짜의 ID를 찾는 솔루션을 작성합니다.) 이 문제에서는 우선 Weather라는 테이블이 주어졌으며 이전 날짜에 비해 온도가 높은 모든 날짜의 ID를 출력하는 것입니..

1. IRIS 데이터를 가져오겠습니다.from sklearn.datasets import load_iris# 해당 데이터에는 Label이 없습니다.iris = load_iris()# 특성 이름을 가져옵니다.cols = [each[:-5] for each in iris.feature_names]import pandas as pdiris_df = pd.DataFrame(iris.data, columns=cols)iris_df.head()# 중요 특성 2개만 사용하겠습니다.features = iris_df[['petal length', 'petal width']]위의 코드와 같이 데이터 프레임을 만들기위해 컬럼명들을 가져오고 중요한 특성 두 개만 가지고 오는 것을 확인 할 수 있습니다. (제 블로그 IRIS ..

비지도 학습학습 데이터에 정답(label)이 없는 상태에서 데이터의 구조를 분석하고 패턴을 찾아내는 기계 학습 방법입니다.주로 데이터의 숨겨진 구조를 파악하거나, 비슷한 특성을 가진 데이터들을 군집화하는 데 사용됩니다.비지도 학습에서는 모델이 데이터를 학습하면서 정답을 맞추는 것이 아니라, 데이터의 특징을 추출하거나 그룹을 구분합니다. 비지도 학습 대표적인 사례군집 Clustering : 비슷한 샘플을 모음이상치 탐지 Outlier detection : 정상 데이터가 어떻게 보이는지 학습, 비정상 샘플을 감지밀도 추정 : 데이터셋의 확률 밀도 함수 Probability Density Function PDF를 추정, 이상치 탐지 등에 사용K-Means군집 중심 이라는 임의의 지점을 선택해서 해당 중심에 가..

해당 문제는 HackerRank에서 사용한 문제이며 모든 테이블의 자료와 출처는 Hackerank임을 밝힙니다.해당 글에서는 INNER JOIN를 사용하여 푸는 문제로 그래도 처음 푸는 사람에게도 적절한 문제인 것 같습니다..해당 문제 원본을 확인 하시려면 해당 사이트를 들어가시면 될 것 같습니다. 시작하겠습니다Given the CITY and COUNTRY tables, query the names of all the continents (COUNTRY.Continent) and their respective average city populations (CITY.Population) rounded down to the nearest integer.Note: CITY.CountryCode and COU..

IRIS 데이터로 PCA 적용해보겠습니다.import pandas as pdfrom sklearn.datasets import load_irisiris = load_iris()iris_pd = pd.DataFrame(iris.data, columns = iris.feature_names)iris_pd['species'] = iris.targetiris_pd.head()# StandardScaler 데이터 스케일링from sklearn.preprocessing import StandardScaleriris_ss = StandardScaler().fit_transform(iris.data)이렇게 StandardScaler를 통해 데이터들을 스케일링까지 해주었습니다. 2. PCA 적용하기from sklearn..