Rolling Snowball

Contents 1. JOIN이란? 2. 다양한 종류의 JOIN 3. 3일차 숙제 리뷰 4. 숙제 1. JOIN이란? SQL의 조인은 두 개 혹은 그 이상의 테이블들을 공통 필드를 가지고 머지하는데 사용된다. 이는 스타 스키마로 구성된 테이블들로 분산되어있던 정보를 통합하는데 사용된다. 왼쪽 테이블을 LEFT, 오른쪽 테이블을 RIGHT라고 하자. JOIN의 결과는 방식에 상관없이, 양쪽 필드를 모두 가진 새로운 테이블을 만들게 된다. JOIN의 방식에 따라 다음 두 가지가 달라진다. 어떤 레코드들이 선택되는지 어떤 레코드들이 채워지는지 JOIN의 문법ex> SELECT A.*, B.* FROM raw_data.table1 A ____JOIN raw_data.table2 B ON A.key1 =B.key..

KDT 인공지능 코스의 파이널 과제는 팀별 프로젝트인데, 팀은 관심있는 주제별로 일찌감치 정해졌다. 나는 vision을 주제로 지원한 팀에 들어왔다. 어떤 domain을 선정할까 토의를 많이 했는데, 정해진 건 fashion. 일단, 비즈니스적 포텐셜이 크고, 이미 기업에서 AI 기술을 적용하는 시도를 많이 하고 있는 분야라고 보아서다. https://paperswithcode.com/ Papers with Code - The latest in Machine Learning Papers With Code highlights trending Machine Learning research and the code to implement it. paperswithcode.com paperswithcode사이트에..

날짜 : 210709 언어 : Python 개발환경 : Jupyter Notebook 내 os: macOS 11.2.3 프로그래머스 데브매칭 과제 우수코드를 필사하다가 에러 발생 이미지 분류 모델이라서 opencv를 활용하는데, import cv2 코드에서 에러가 발생했고, 인터넷에서 검색한대로 opencv-python을 다운로드하였으나 해결안됨 한참 헤매다 해결 안되서 지인에게 물어봄 pip install opencv-contrib-python # 주요 및 추가 모듈 설치 이걸 설치하고 나서 다시 import 해서 해결

1. !bash 코랩 노트북에서 위와 같은 명령을 실해하면, output창에서 쉘을 실행한다. 이와 같은 방식의 가장 큰 문제는 위의 예처럼 내가 입력하는 명령어가 가려져서 보인다는 것. 그래서 다른 방법을 찾아보았다. 2. 스택오버플로우의 답변에 의하면, 이 방식은 코랩 프로 유저만 가능하다고 한다. !pip install kora from kora import console console.start() # and click link 위와 같은 명령을 실행하면, 왼쪽 아래에 조그만 터미널 아이콘이 생기고, 이를 클릭하면 오른쪽 창에 터미널이 실행된다. 아래 참고 링크에 써있는대로 코랩유료 계정에서만 이와 같은 결과를 얻었고, 유료 결제를 하지 않은 다른 계정으로 시도해보니 아무 변화도 일어나지 않았다...

Contents 1. GROUP BY와 AGGREGATE함수 2. CTAS와 CTE 소개 데이터 품질 확인 3. 숙제 1. GROUP BY와 AGGREGATE함수 1. GROUP BY 테이블의 레코드를 그룹핑하여 그룹 별로 다양한 정보를 계산 두 단계로 이뤄짐 먼저 그룹핑 할 필드를 결정(하나 이상의 필드가 될 수 있음 ex. 월별, 채널별) GROUP BY로 지정(필드 이름을 사용하거나 필드 일련번호를 사용) 다음 그룹별로 계산할 내용를 결정 여기서 AGGREGATE 함수를 사용 COUNT, SUM, AVG, MIN, MAX, LISTAGG, .... 보통 필드 이름을 지정하는 것이 일반적 (alias -> as) 월별 세션수를 계산하는 SQL raw_data.session_timestampe를 사용 ..

Contents 1. 1일차 퀴즈 리뷰 2. Redshift 런치 데모 3. 예제 테이블 소개 4. SQL 소개 (DDL과 DML) 5. SQL 실습 환경 소개 6. SELECT 소개 2. Redshift 런치 데모 AWS Management 콘솔을 통해 Redshift 런치 먼저 region 부터 확인해야 함 (서울) Services -> Analytics -> Redshift Redshift 클러스터 정보 Node Type : 1 x dc2.large instance : 160GB colab에서 접근이 가능하도록 Publicly accessible 가능하게 해야 Host : ... Port number: ... Database name: ... 3. 예제 테이블 소개 1. 관계형 데이터 베이스 예제 ..

파이토치 첫걸음 도서 링크 파이토치 첫걸음 - 교보문고 딥러닝 기초부터 RNN, 오토인코더, GAN 실전 기법까지 | ■ 복잡한 건 파이토치에게 맡기고 모델에 집중하세요 딥러닝 분야의 네임드인 안드레이 카파시는 이런 말을 했습니다. “파이토치를 몇 www.kyobobook.co.kr KDTx programmers AI dev course를 수강중이다. 이제 머신러닝에 대한 이론 수업과, 비교적 간단히 sklearn library를 활용한 머신러닝 알고리즘 부분을 넘어서, 뉴럴 네트워크를 배우고 있다. 그런데, 앞으로 딥러닝은 주로 pytorch를 활용하여 공부하게 된다는데, 한번도 활용해본 적이 없고, 수업시간에는 친절하게 가르쳐주지 않아 좀 쉽고 빠르게 연습해보고 싶어져서 이 책을 사게 되었다. 이 책..

Contents 1. SQL의 중요성 2. 관계형 데이터베이스란? 3. SQL이란? 4. 데이터 웨어하우스란? 5. Cloud, AWS 소개 6. Redshift 소개 1. SQL의 중요성 데이터 관련 3개 직군(데이터 엔지니어, 데이터 분석가, 데이터 과학자) 모두에서 중요한 스킬셋 2. 관계형 데이터베이스란? 구조화된 데이터를 저장하고 질의할 수 있도록 해주는 스토리지 (이미지, 텍스트 등은 비구조화된 데이터) 엑셀 스프레드시트 형태의 테이블로 데이터를 정의하고 저장 테이블에는 컬럼(열)과 레코드(행)가 존재 관계형 데이터베이스를 조작하는 프로그래밍 언어가 SQL 테이블 정의를 위한 DDL(Data Definition Language) 테이블 데이터 조작/질의를 위한 DML(Data Manipulat..

책에서 다룬 리트코드 문제들을 파이썬으로 풀이한 포스팅이다. 문제는 모두 리트코드에 출제된 문제들이며, 직접 풀었지만, 책에서 주는 힌트와 풀이 과정들을 참고한 경우가 많다. 이곳은 정리한 책에 나온 문제에 대한 목록과 해설을 정리한 공식 깃허브 페이지 이며, 다음 포스팅은 내가 푼 문제 풀이 목록을 정리해 놓았다. 문제 https://leetcode.com/problems/count-largest-group/ Count Largest Group - LeetCode Level up your coding skills and quickly land a job. This is the best place to expand your knowledge and get prepared for your next inte..

순환 신경망(RNN) 순차 데이터 많은 응용 심전도 신호를 분석하여 심장 이상 유무 판정 주식 시세 분석하여 사고 파는 시점 결정 음성 인식을 통한 지능적인 인터페이스 구축 기계 번역기 또는 자동 응답 장치 제작 유전자 열 분석을 통한 치료 계획 수립 등 순차 데이터의 표현 순차 데이터의 일반적 표기 벡터의 요소가 벡터 온라인 숫자의 요소는 1차원, 심전도의 요소는 3차원 예를 들어 심전도 신호는 초당 100번 샘플링하고 2분간 측정한다면 길이는 T=12000, x = ((0.3, 0.1, 0.2), …)^T 위의 예시의 x가 여러개 모인 것이 훈련집합 X가 된다. 대표적인 순차 데이터인 문자열의 표현 기계번역의 경우 입력 x가 “April is the cruelest month.”이고 출력 y가 “사월..

심층학습 최적화 활성함수 선형 연산 결과인 활성값 $z$에 비선형 활성함수 $\tau$를 적용하는 과정(은닉층에서 일어남) 활성함수 변천사 선형 -> 계단 -> tanh -> ReLU sigmoid 함수는 활성값이 커지면 포화 상태가 되고 경사도가 0에 가까운 값을 출력함 -> 매개변수 갱신(학습)이 매우 느린 요인 ReLU(Rectified Linear Unit) 활성함수 경사도 포화(gradient saturation) 문제 해소 0을 기점으로 해서 그 이전것은 0이고, 0 이후부터는 linear하게 자기자신을 내보냄. $z = w^T\widetilde{x} + b$ $y = ReLU(z) = max(0, z)$ 0과 자기 값을 비교해서 자기 값이 0보다 작으면 0을 출력, 자기 값이 0보다 크면 그..

책에서 다룬 리트코드 문제들을 풀이한 포스팅이다. 문제는 모두 리트코드에 출제된 문제들이며, 직접 풀었지만, 책에서 주는 힌트와 풀이 과정들을 참고한 경우가 많다. 이곳은 정리한 책에 나온 문제에 대한 목록과 해설을 정리한 공식 깃허브 페이지 이며, 다음 포스팅은 내가 푼 문제 풀이 목록을 정리해 놓았다. 문제 https://leetcode.com/problems/trapping-rain-water 입력: 땅에 쌓아올린 벽돌의 높이를 기록한 리스트 출력: 물이 고인 양을 합한 양의 정수 문제 요약: 그림으로 그리면 이해가 쉽다. 예제 1번은 [0,1,0,2,1,0,1,3,2,1,2,1]인데, 이를 그림으로 그리면 아래의 검은 블록과 같고, 물이 고인 양은 파란색의 합과 같다. 유의 사항: 제일 처음과 제..

파이썬의 리스트, 튜플 같은 iterable 한 자료형에서 각 요소의 위치와 값을 반환해주는 함수이다. 그런데 그냥 enumerate()함수를 print하면 enumerate object를 반환할 뿐이어서, 우리가 원하는 index, value를 직접 얻을 수가 없다. lst = ['a','b','c','d'] print(enumerate(lst)) >> 그래서 주로 for 문과 함께 쓰인다. dic = {} for k, v in enumerate(lst): dic[k]= v 이렇게 하면 lst의 인덱스를 key, 값을 value로 하는 딕셔너리를 생성할 수 있다. dic >> {0: 'a', 1: 'b', 2: 'c', 3: 'd'}