Rolling Snowball

문서 분류(Text Classification) 문서 분류란? (자연어 처리 중 가장 중요한 분야, 다양한 세부 응용 분야가 있음, 가장 흔히 접할 수 있는 분야) 텍스트를 입력으로 받아 텍스트가 어떤 종류의 범주에 속하는지를 구분하는 작업 이 자체가 하나의 과제일 수도 있고, 이 과제의 결과물이 다른 작업을 위한 input이 되기도 한다. 다양한 문서 분류 주제들 문서의 범주, 주제 분류 예: CS 논문의 CS 주제분류 (multi-label classification - 하나의 논문이 여러 개의 주제로 분류될 수도 있음) 이메일 스팸 분류 감성 분류 예 영화: 리뷰가 긍정적/부정적? 제품: 새로운 아이폰에 대한 대중의 반응? 정치: 이 정치인에 대한 사람들의 생각? 예측: 감성 분류를 기반으로 선거 ..

언어모델 다음 문장 다음에 이어질 단어는? Please turn your homework -> "in" or "out"? 다음 두 문장 중에 나타날 확률이 더 높은 것은? all of a sudden I notice three guys standing on the sidewalk on guys all I of notice sidewalk three a sudden standing the 목표: 문장이 일어날 확률을 구하는 것 다음 문장 다음에 이어질 단어는? 다음 두 문장 중 나타날 확률이 더 높은 것은? 왜 필요한가? 기계번역 (machine translation) 중국어 大风을 영어로 번역한다면? P(high winds tonight) > P(large winds tonight) 맞춤법검사 (spel..

자연어 처리: 텍스트 전처리 자연어 처리란 자연어의 의미를 컴퓨터로 분석해서 특정 작업을 위해 사용할 수 있도록 하는 것 응용분야 기계번역, 감성 분석, 문서 분류, 질의응답 시스템, 챗봇, 언어 생성(ex> GPT), 음성인식, 추천 시스템 등... 최근의 딥러닝 분야의 인기 성장은 컴퓨터 비전 분야의 발전과 성공의 영향이 컸다. 자연어 처리에서는 비전만큼의 성공을 거두지 못해왔다. 그러다가 비전에 사용하던 알고리즘을 자연어 문제에 적용시켜서 성능 향상이 이뤄지기 시작했고, 요즘에는 성공적인NLP의 기술(ex> transformer model, BERT model)을 컴퓨터 비전에 적용시켜 발전시키고 있다. 참고 자료 Speech and Language Processing: http://web.stan..

도서링크 GAN 첫걸음 - 교보문고 파이토치 신경망 입문부터 연예인 얼굴 생성까지 | 멋진 아이디어는 누구나 쉽게 배울 수 있어야 한다 세계에서 가장 안락한 GAN 입문서 2014년 등장한 GAN은 빠르게 발전하는 머신러닝 분야에서 www.kyobobook.co.kr 예제코드 깃허브 저자 블로그 [파이토치 첫걸음]에 이어 보는 책. 현재 수강중인 KDTx programmers AI dev course에서 final team project를 하게 되는데, 우리팀의 주제가 GAN 을 활용하는건데, 지금까지 아무 지식도, 경험도 없어서 미리 감을 좀 익히기 위해 구매했다. '첫걸음' 시리즈라 '파이토치 첫걸음'처럼 짧고, 쉽게 기본 개념에 대한 설명과 간단한 예제를 통해 개념의 구현을 맛보는 형식으로 씌여있다..

순환 신경망(RNN) 순차 데이터 많은 응용 심전도 신호를 분석하여 심장 이상 유무 판정 주식 시세 분석하여 사고 파는 시점 결정 음성 인식을 통한 지능적인 인터페이스 구축 기계 번역기 또는 자동 응답 장치 제작 유전자 열 분석을 통한 치료 계획 수립 등 순차 데이터의 표현 순차 데이터의 일반적 표기 벡터의 요소가 벡터 온라인 숫자의 요소는 1차원, 심전도의 요소는 3차원 예를 들어 심전도 신호는 초당 100번 샘플링하고 2분간 측정한다면 길이는 T=12000, x = ((0.3, 0.1, 0.2), …)^T 위의 예시의 x가 여러개 모인 것이 훈련집합 X가 된다. 대표적인 순차 데이터인 문자열의 표현 기계번역의 경우 입력 x가 “April is the cruelest month.”이고 출력 y가 “사월..

심층학습 최적화 활성함수 선형 연산 결과인 활성값 $z$에 비선형 활성함수 $\tau$를 적용하는 과정(은닉층에서 일어남) 활성함수 변천사 선형 -> 계단 -> tanh -> ReLU sigmoid 함수는 활성값이 커지면 포화 상태가 되고 경사도가 0에 가까운 값을 출력함 -> 매개변수 갱신(학습)이 매우 느린 요인 ReLU(Rectified Linear Unit) 활성함수 경사도 포화(gradient saturation) 문제 해소 0을 기점으로 해서 그 이전것은 0이고, 0 이후부터는 linear하게 자기자신을 내보냄. $z = w^T\widetilde{x} + b$ $y = ReLU(z) = max(0, z)$ 0과 자기 값을 비교해서 자기 값이 0보다 작으면 0을 출력, 자기 값이 0보다 크면 그..

https://www.youtube.com/watch?v=vT1JzLTH4G4&list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv 프로그래머스 딥러닝 강좌를 열심히 듣고 있는 중이지만, 어렵다. 제공되는 강의를 한 번 듣고, 복습으로 한 번 더 듣고, 참고자료로 추천한 책도 들춰보지만, 여전히 수많은 정보들을 내가 이해를 하고 있는 것인지, 내 머리에 저장은 되는 것인지 정신이 없다. 수업시간 참고자료 중에 책 뿐 아니라, 강의 동영상 자료도 있길래 좀 찾아봤더니 유튜브에 무료로 공개되어있다고 해서 보기 시작했다. 구글링을 좀 해봤더니, 머신러닝, 딥러닝을 공부하는 초보자들에게 바이블 같은 강의같다. 그리고 프로그래머스 딥러닝 / 비전 쪽 강의의 커리큘럼도 이 강의의 얼개와 큰 차이가..