Rolling Snowball

주로 PRML 2-3 에 해당되는 내용인 것 같다. 가우시안 분포 (Gaussian Distribution) 가우시안 분포가 일어나는 여러가지 상황 정보이론에서 엔트로피를 최대화시키는 확률분포 중심극한 정리 동일한 확률변수 N개가 있을 때, N이 커질수록 가우시안 분포에 가까워짐 중심극한정리의 의미 단일변수 $x$ $D$차원 벡터 $ \textbf x$ (전체 값은 스칼라가 됨) 💡 여기서 $\mu$는 $D$차원의 평균 벡터$\Sigma$(sigma)는 $D \times D$ 크기를 가지는 공분산 행렬이다. 중요한 것은 $\mu$와 $\Sigma$가 평균과 공분산으로 주어진 것이 아니고, 이것들이 파라미터로 주어진 확률밀도함수의 평균과 공분산이 $\mu$와 $\Sigma$가 된다는 것이다. 가우시안 분포..

전체적으로 PRML(Pattern Recognition & Machien Learning) 2장의 내용을 정리한 것 같다. 책의 2장 내용을 정리한 블로그: http://norman3.github.io/prml/docs/chapter02/1 밀도추정 (Density Estimation) $N$ 개의 관찰데이터(observations) $x_1, ..., x_N$ 가 주어졌을 때 분포함수 $p(x)$를 찾는 것 $p(x)$ 를 파라미터화된 분포로 가정한다. 회귀, 분류문제에서는 주로 p(t|x), p(C|x)를 추정한다. 그다음 분포의 파라미터를 찾는다. 빈도주의(Frequentism) 방법 : 어떤 기준(예: likelihood)을 최적화시키는 과정을 통해 파라미터 값을 정한다. 그렇게 파라미터의 하나의..

을 들을 때도 2일 정도 강의가 있었다. 연세대학교 이상엽 교수님이 진행해 주셨는데, 실시간으로 수강생들의 수준에 맞게 속도와 수준을 조절하면서 강의해 주셔서 어려운 내용임에도, 어렵지 않게 감을 잡을 수 있었다. 수강생의 대부분이 computer science를 전공하지 않은 데다가, 문과생이 많았기 때문에 원래 커리큘럼에 있는 내용을 다 다루지는 못하고 데이터 분석과 관련 있는 선형대수학 개념 위주로 가르쳐 주었던 기억이 난다. 그런데 이번에 수강하고 있는 의 경우는 대부분 CS를 전공한 학부졸업 ~ 석사생이 많고, 그 수준에 맞게 수학 강의 부분도 진행이 되었다. 그나마 지난 번에 강의 들은 게 있어서, 완전히 처음 듣는 개념은 아니긴 했지만, 선형대수학이라는 분야 자체를 지난번에 처음 들어본 내가..

1. 표본분포 통계적 추론 전수조사는 실질적으로 불가능하기에 표본 조사를 통해 모집단 해석을 진행하는 경우가 많다. -> 표본 조사는 반드시 오차가 발생 -> 적절한 표본 추출 방법 필요 -> 표본과 모집단과의 관계를 이해해야 함 여러 표본 추출 방법 단순랜덤 추출법 (random sampling) : 난수표 사용 / 랜덤넘버 생성기 사용 import random [random.randint(1,10)for i in range(10)] 1~10 사이에서 랜덤하게 정수 10개 뽑는 코드 표본 평균의 분포 표본조사를 통해 파악하고자 하는 정보: 모수 (parameter) 모수의 종류: 모평균, 모분산, 모비율 등 모수 추정을 위해 표본을 선택하여 표본 평균, 표본 분산 등을 계산하는 것 통계량 (statis..

1. 확률 1. (최근) 상대도수에 의한 확률 정의: 똑같은 실험을 무수히 많이 반복할 때 어떤 일이 일어나는 비율 (상대 도수의 극한) ex> 다음 날 비가 올 확률? 2 고전적 정의 : 표본공간(sample space) 모든 가능한 실험결과들의 집합 예) 주사위의 숫자 : {1,2,3,4,5,6} 사건 관심있는 실험결과들의 집합 표본 공간의 부분집합 예) 주사위의 숫자 중 짝수 : {2,4,6} 어떤 사건이 일어날 확률 표본 공간의 모든 원소가 일어날 확률이 같은 경우 사건의 원소의 수 / 표본공간의 원소의 수 ex> 주사위를 2번 던졌을 때 합이 10일 확률을 구하라 표본공간: 총 36개의 원소: {(1,1),(1,2),(1,3)...(6,6)} 합이 10일 사건: {(4,6), (5,5), (6,..

1. 벡터와 직교 분해 1) 벡터의 표현 n-벡터는 크기와 방향을 가진 물리량, 표현 방법 2가지 1. 좌표계 없이 표현 v : 화살표로 표현 v의 크기 : 화살표의 길이 측정 v의 방향 : 화살표의 방향 측정 2. 좌표계를 도입하여 표현 v = (v1, v2, ..., vn) v의 크기 : |v| = sqrt(v1^2 + v2^2 + ... + vn^2) v의 방향 : 1/|v|*v (주어진 벡터에서 길이를 나누어서 길이를 1로 만들면 방향이 남는다) 2) 벡터의 내적 두 벡터 u 와 v에 대한 내적 (inner product / dot product)의 정의 1. 좌표계 없이 표현 두 n-벡터의 길이와 두 벡터 간 사이각 θ를 통해 정의 가능 u ⋅v = |u||v|cosθ 2. 좌표계 도입하여 표현..

1. LU 분해(LU decomposition) LU분해는 지금까지 배운 가우스 소거법을 알고리즘의 형태가 아닌 행렬의 결과물로 표현하는 방식 가우스 소거법을 프로그래밍적으로 지원하는 알고리즘이 존재 numpy는 LU분해라는 방식으로 제공 1) 행렬분해(matrix decomposition)의 의미 어떤 숫자를 인수분해 한 상태로 가지고 있으면 계산이 편한 경우 많음 ex> 분수의 약분, 최대공약수, 최소공배수... 행렬도 행렬분해한 상태로 가지고 있으면 계산이 편한 경우가 많음 행렬분해의 종류 LU 분해(LU decomposition) QR 분해(QR decomposition) 특이값 분해(SVD, Singular Value decomposition) LU분해는 가우스 소거법을 행렬의 형태로 나타낸 것..

* 첫 째 주에 이어 다시 고난의 행군 SSAC x Fast Campus 패스트 캠퍼스 비즈니스 빅데이터 분석가 과정 에도 수학 이론 강의가 있었지만, 단 라는 이름으로 이틀 강의를 한 것이 전부였다. 게다가 문과생들을 대상으로 하는 수업 난이도였다. 그런데 이 수업은 CS 학부생 정도 수준을 전제로 하고 있는 것 같다. 첫 날 주제는 선형대수linear algebra 다행히 빅데이터 분석가 과정에서도 하룻동안 배웠던 내용이다. 여담이지만, 학부에 있을 때 이과인 친구들이 '리니어 알제브라', '리니어 알제브라' 거리길래 뭔소리인지 몰라서 사전을 찾아본 적이 있었는데, 그걸 내가 이 나이에 공부하고 있다니... 그땐 이렇게 될 줄은 꿈에도 몰랐었지 .... ㅠㅠ 참고 첫째 주에 자료 구조와 알고리즘을 공..