Machine Learning 9

[AI class w8d4] 신경망의 기초 - 기계학습과 수학

기계 학습과 수학 기계 학습에서 수학의 역할 수학은 목적함수를 정의하고, 목적함수의 최저점을 찾아주는 최적화 이론 제공 최적화 이론에 학습률, 멈춤조건과 같은 제어를 추가하여 알고리즘 구축 사람은 알고리즘을 설계하고 데이터를 수집 기계학습은 수학/알고리즘/사람이 수집하는데이터 로 이루어진다. 선형대수 벡터와 행렬 벡터 샘플을 특징 벡터(feature vector)로 표현 요소의 종류와 크기 표현 예) $x\in R^n$ 데이터 집합의 여러 개 특징 벡터를 첨자로 구분$(x_i)$ 예) $x_1 = \begin{pmatrix} 1&\cr 2&\cr 3 \end{pmatrix}$ 행렬 여러개의 벡터를 담음 요소: $x_{ij}$, i번째 행과 j번째 열로 이루어짐 훈련집합을 담은 행렬을 설계행렬(design..

Machine Learning 2021.06.18

[AI class w8d3] 신경망의 기초 - 인공지능과 기계학습 소개

인공지능과 기계학습 소개 엔비디아 : 첨단 엣지 기술을 많이 전파하고 있다. 엔비디아의 CEO가 말하길 “소프트웨어가 결국 세상을 먹여살릴 것이고, AI가 소프트웨어를 먹여살릴 것이다.” 인공지능 : 인간의 학습능력과 추론능력, 지각능력, 자연언어의 이해능력 등을 컴퓨터 프로그램으로 실현한 기술 무엇을 하고 싶은가? : 인간처럼 생각하고 행동하는 기기의 탄생! 인공지능의 핵심은 “학습”이다! 인공지능의 요소기술 중에 “머신러닝”이 있고, 머신러닝 안에서도 “딥러닝”에 대해 살펴볼 것이다. 일상 속 인공지능 음성인식 추천시스템 자율주행 실시간 객체 인식 로봇 번역 인공지능을 하려면, Python과 Open Source로 많이 소통해라! 인공지능 == 도구 도구를 만드는 방법을 배우는 것도 중요하지만, 도구..

Machine Learning 2021.06.18

[AI class w8d2] ML 기초 - 분류문제 실습

확률적 식별 모델 다중클래스 로지스틱 회귀 우도함수 소프트맥스, 시그모이드의 함수들 사이의 관계를 잘 기억할것 체인룰을 쓰기 위해 함수관계를 잘 이해해야 한다. Gradient Descent(batch) 사이킷런의 make_classification을 통해 쉽게 데이터를 만들어낼 수 있다. 로지스틱 리그레션 모델에서 반드시 써야하는 함수가 시그모이드 함수이다. 지수함수에 1을더해서 나눈것을 시그모이드 함수로 정의한다. Cost를 계산하는 함수 : 현재의 파라미터값 w가 주어져 있을 때 입력 X와 목표값 t에 대해 cost를 계산한다. 전체 데이터를 한꺼번에 넣어서 그래디언트를 업데이트 하는데, 이를 배치 업데이트라고한다. 배치란 데이터 전체를 한꺼번에 원샷으로 다 쓴다는 의미이다. 딥러닝에서 말하는 배치..

Machine Learning 2021.06.18

[AI class w7d4] Linear Model for Classification 선형분류 TIL

분류(classification)의 목표 입력벡터 $\bf x$를 $K$개의 가능한 클래스 중에서 하나의 클래스로 할당하는 것 분류를 위한 결정이론 확률적 모델 (probabilistic model) 생성모델 (generative model): $p({\bf x}|\mathcal{C}_k)$와 $p(\mathcal{C}_k)$를 모델링한다음 베이즈 정리를 사용해서 클래스의 사후 확률 $p(\mathcal{C}_k|{\bf x})$를 구한다. 또는 결합확률 $p({\bf x}, \mathcal{C}_k)$을 직접 모델링할 수도 있다. 식별모델 (discriminative model): $p(\mathcal{C}_k|{\bf x})$를 직접적으로 모델링한다. 판별함수 (discriminant function..

Machine Learning 2021.06.14

[AI class w7d3] Linear Model for Regression 선형회귀 TIL

오늘 내용은 PRML 3장의 내용이다. 선형 기저 함수 모델 가장 단순한 형태의 선형모델 $$ y(x, w) = w_0 + w_1x_1 + \dots + w_Dx_D $$ 이 모델의 파라미터는 $\textbf w=(w_0,\dots,w_D)^T$ 벡터이다. 위 함수는 파라미터 $\textbf w$에 대해 선형일 뿐만 아니라 입력데이터 $\textbf x$에 대해서도 선형이다. $\textbf x$에 대해 비선형인 함수를 만들고 싶다면? $$ y(x, w) = w_0 + \sum_{j=1}^{M-1}w_j\phi{_j}(x) $$ $$ y(x, w) = \sum_{j=0}^{M-1}w_j\phi{_j}(x) = w^T\phi(x) $$ $\textbf x$에 대해 비선형인 함수 $\phi_j(\textbf..

Machine Learning 2021.06.09

[AI class w6d5] Week6 과제 ML Basics 실습

어떤 데이터셋을 주고 예측하는 과제였다. kaggle 대회가 아닌, 다른 곳에서 한(아마도 인도?) 데이터셋이었는데, 검색해보니, 아무래도 대회에 참가했던 인도 분들이 많이 있어서 인지 github에 코드가 꽤 올라와 있기는 했다. 그러나 강사님께서 따로 데이터를 좀 만지셨는지, 데이터셋이 완전히 같지는 않았고, 무엇보다 대회에서 요구한 지표가 다른지 이미 올라와 있는 노트북들은 대부분 classifier로 문제를 해결했는데, 이번 과제는 평가지표를 MAE로 하라고 했다. 참고 : 모델 성능 평가지표 예측해야 하는 값은 delivery time 이었는데, time이기 때문에 연속적인 변수이고, 평가지표도 MAE로 요구하였기 때문에 과제는 회귀모델로 분석하였다. 그런데 실제 y label의 value를 살..

Machine Learning 2021.06.07

[AI class w6d3] E2E - linear regression ML 처음부터 끝까지

핸즈온 머신러닝 2판의 2장 - 머신러닝 처음부터 끝까지와 완전히 동일한 내용이다. 박해선님께서 너무나도 친절히 책 내용을 공개하시고 해설 동영상 강의까지 올리셔서 큰 도움을 받았다. 박해선님 블로그의 해당 내용 2. 머신러닝 프로젝트 처음부터 끝까지 1.5 테스트와 검증 | 목차 | 2.2 큰 그림 보기 이 장에서는 여러분이 부동산 회사에 막 고용된 데이터 과학자라고 가정하고 예제 프로젝트의 처음부터 끝까지 진행해보겠습니다.1 진행할 주요 단 tensorflow.blog 박해선님 유튜브 채널의 해당 내용 내용 자체는 ML- 지도학습 - 선형회귀분석을 처음부터 끝까지 쥬피터 노트북으로 해보는 것. 캐글 필사와 거의 동일했다. 다행히 simple linear regression - decision tree..

Machine Learning 2021.06.03

머신러닝 AI 이론, 수학 공부에 큰 도움이 된 블로그 모음

1. http://norman3.github.io/prml/ PRML Sep 27, 2016 요즘 시간이 없어서 업데이트를 자주 못합니다. 그래도 생각날때마다 조금씩 내용을 업데이트하고는 있습니다. 앞으로도 계속 이런 식으로 진행될 것 같습니다. Mar 30, 2016 PRML Study 페 norman3.github.io 유명한 교과서라는 PRML(Pattern Recognition & Machien Learning, Bishop) 내용을 한국어로 정리해주신 블로그 2. https://angeloyeo.github.io/ 홈 - 공돌이의 수학정리노트 미분방정식을 보는 또 다른 관점 지금까지 미분방정식을 해석하는 여러가지 관점에 대해 알아보았다. 미분방정식을 이용한 현상 모델링편에서는 미분계수가 포함된 ..

Machine Learning 2021.06.01

[AI class w6d2] 결정이론(Decision Theory) TIL

결정이론 새로운 값 x가 주어졌을 때 확률모델 $p(x,t)$ - (input x, 목표값 t)에 기반해 최적의 결정(예를 들어 분류) 을 내리는 방법론 추론 단계: 결합확률분포를 구하는 것이고 결정 단계: 확률이 주어졌을 때 어떻게 최적의 결정을 내릴 지 -> 우도와 사전확률을 최대화 시키는 것이 이 확률을 높이는 데에 도움이 될 것 -> 직관적으로, 조건부확률을 최대화시키는 k를 찾는 것이 가장 좋은 결정 -> 최적의 결정 영역을 찾는 것이 목표 예: x-ray 이미지를 보고 암 판별하기 -> 직관적으로 볼 때 $p(C_k|x)$ 를 최대화 시키는 $k$를 구하는 것이 좋은 결정 암진단 예시에 대한 보다 상세한 설명: 베이즈 정리- 예제 1, 2 참고 https://angeloyeo.github.io..

Machine Learning 2021.05.31