Rolling Snowball

Colab Notebook을 HTML과 Markdown으로 저장하는 방법¶Colab Notebook에서 작업한 내용을 HTML과 Markdown 형식으로 저장하는 방법Colab Notebook을 다양한 형식으로 저장하면 다른 플랫폼에서 공유하거나, 문서로 보관할 때 유용함티스토리나 미디엄 같은 블로그에 바로 포스팅할 수 있고, 컨플루언스 업로드도 가능해 업무적으로 보고, 협업 시 활용할 수 있음  1. Colab Notebook을 HTML로 저장하기¶Colab Notebook을 HTML 형식으로 저장하려면 nbconvert를 사용하면 된다.(nbconvert : Jupyter Notebook을 다양한 형식으로 변환해주는 라이브러리)현재 노트북을 .ipynb 파일로 저장하기:Colab에서 "파일" > "저..

Colab Notebook에서 Git 레포를 사용하는 방법을 정리한다.다루는 내용을 구체적으로 정리하면 다음과 같다.일반 레포를 클론받는 방법특정 브랜치를 클론받는 방법프라이빗 레포를 클론받는 방법프라이빗 레포의 특정 브랜치를 클론받는 방법  0. Colab에서 Git 클론 연습을 위한 기본 사항¶Colab에서 Git 레포를 클론하면 클론한 데이터는 기본적으로 Colab 환경의 임시 저장소에 저장된다. 이 임시 저장소는 세션이 종료되면 사라지기 때문에 클론받은 데이터를 유지하려면 내 Google Drive에 저장해야 한다. Google Drive에 마운트한 후 현재 작업 중인 디렉터리를 내 구글 드라이브 내 폴더로 이동하고, 레포를 클론하면 된다.Google Drive에 마운트하지 않고 Git 클론하기의..

*22년 12월 20일 추가* Pay As You Go는 코랩 프로로 안쳐주다 보니 백그라운드 실행이나 터미널 창 제공 같은 프로의 혜택을 누릴 수 없어서 상당히 아쉽다. 한 편으로 회사에서 월 9.99 달러 짜리 Colab Pro 구독을 해주셨는데, 이건 컴퓨팅 자원 100단위 제공인데 CV에서 700장 정도 되는 이미지 mask_RCNN 파인튜닝 몇 번 했더니 녹아 없어졌다. 100단위를 다 썼더니 바로 이 Pay As You Go 서비스를 추가로 결제하라고 안내를 해줬다. 진짜로 코랩 프로 + 추가 결제 서비스를 같이 쓰는게 활용성이 제일 좋을 것 같다. (근데 회사에 그렇게 해달라고 요청할 수 있을지 모르겠다. 코랩은 진짜 말 그대로 테스트 용도로만 쓰는 것이기 때문에) 21년 8월에 KDT 과정..

환경 Windows 10 Pro python 3.8.10 IDE - PyCharm Communityn Eddition 2021.3 처음 파이썬과 데이터 분석을 배울 때, 강사 선생님이 아나콘다부터 깔아서 사용하고, 가상환경도 콘다를 이용해 설정하는 것을 가르쳐 주셨던 기억이 난다. 그런데 쓰면 쓸수록 무겁고, 경로 설정도 헷갈리고, 깔끔하게 아나콘다 없이 환경 관리를 하고 싶어졌다. 감사하게도 회사 컴퓨터를 gpu 3060이 달린 pc로 바꾸게 되어, 새롭게 환경 설정을 하게 되었고, 이제 처음부터 콘다 없는 깔끔한 환경과 경로를 유지하고 있다. Q 1. 아나콘다 없이 가상환경 설정하는 방법은? A. venv 또는 virtualenv로 하면 된다. 순전히 취향 차이인데 나는 virtualenv를 사용한다..

환경 linux Ubuntu 20.04.4 LTS bash 에러 발생 상황 도커를 불러와서 작업을 시도하였으나 계속된 에러 발생으로 stackoverflow 를 헤매고 다녔다. (에러메세지 : ERROR: for fscrawler Cannot start service fscrawler: error while creating mount source path '/config': mkdir /config: read-only file system) 그러다 snap으로 도커를 설치한 경우 흔히 발생하는 문제이니 도커를 삭제하고 다시 깔아보라는 글을 보았고(https://github.com/rancher/rancher/issues/13900), 그를 따라 삭제했지만, 도커 버전을 확인하는 명령어를 입력하면 여전히 ..

A. ipykernel 라이브러리를 활용하면 쉽게 이용 가능하다. 환경 Windows 10 Pro python 3.8.12 IDE - Visual Studio Code 파일 포맷 - .ipynb 참고 anaconda, virtual env + jupyter notebook 활용 https://janakiev.com/blog/jupyter-virtual-envs/ https://daseuul.tistory.com/12 python -m venv "가상환경이름" source ./"가상환경이름"/bin/activate # 리눅스에서 실행할 경우 . "가상환경이름"\Scripts\activate # 윈도우즈에서 실행할 경우 python -m site python -m pip install ipykernel py..

kdt 프로젝트로 DL 모델을 사용한 웹서비스를 만들 때는, 말 그대로 서비스를 위한 코딩이었기 때문에 VScode를 사용해서 개발했다. 그런데, 다시 JavaScript 언어 자체를 연습하려고 하니, 공부하기에 가장 편한, 익숙한, 필기하기도 좋고, 나중에 꺼내 보면서 복습하기도 좋은 Jupyter Notebook으로 자바스크립트 연습을 할 수 없을까? 하고 찾아보니 역시나 방법이 있었다. IJavasript https://github.com/n-riesco/ijavascript GitHub - n-riesco/ijavascript: IJavascript is a javascript kernel for the Jupyter notebook IJavascript is a javascript kernel ..

kdt AI 과정의 막바지, 딥러닝 프로젝트를 진행중이다. 아무래도 이미지 생성을 하는 모델을 학습 중이라 굉장히 많은 연산이 필요하다. 내가 수강하고 있는 프로그래머스 측에서 지원해준 머신은 aws가 아닌 구글코랩프로+ 한 달 결제 지원. 한 달에 49.99달러 짜리다. 모델이 모델인지라 192x256 사이즈 이미지 만 장 정도를 한 번 학습하는데 2~3일 씩 걸린다. ㅠㅠ 그러다 알게 된 사실은 구글 코랩에 접속할 때마다 나에게 할당해 주는 머신의 사양이 달라서 같은 모델을 학습하는데도 걸리는 시간 차이가 크게는 10시간 씩 난다는 것. 구글이가 나에게 할당해준 사양을 매번 확인할 필요가 있었다. 1. 내 계정에 할당된 gpu 확인하기 (구글 코랩 프로+ 를 구독하고 있는 계정에서 확인한 것) 2. ..

[실행 관련 단축키] 1. Command + Enter = 해당 셀을 실행하고 커서를 해당 셀에 두는 경우 (결과 값만 보고자 할 때) 2. Shift + Enter = 해당 셀을 실행하고 커서를 다음 셀로 넘기는 경우 (여러가지 값을 빠르게 출력할 때) 3. Alt + Enter = 해당 셀을 실행하고 셀을 삽입한 후 커서를 삽입한 셀로 넘기는 경우 (다음 작업 공간이 없을 때) [셀 삽입/삭제 관련 단축키] (커멘드 모드에서) A = 코드 셀 위에 삽입 B = 코드 셀 아래 삽입 Z = 실행 취소 Command + M D = 셀 지우기 Command + M Y = 코드 셀로 변경 Command + M M = 마크다운 셀로 변경 [util] Command + M - = 셀 나누기 Command + / ..

1. !bash 코랩 노트북에서 위와 같은 명령을 실해하면, output창에서 쉘을 실행한다. 이와 같은 방식의 가장 큰 문제는 위의 예처럼 내가 입력하는 명령어가 가려져서 보인다는 것. 그래서 다른 방법을 찾아보았다. 2. 스택오버플로우의 답변에 의하면, 이 방식은 코랩 프로 유저만 가능하다고 한다. !pip install kora from kora import console console.start() # and click link 위와 같은 명령을 실행하면, 왼쪽 아래에 조그만 터미널 아이콘이 생기고, 이를 클릭하면 오른쪽 창에 터미널이 실행된다. 아래 참고 링크에 써있는대로 코랩유료 계정에서만 이와 같은 결과를 얻었고, 유료 결제를 하지 않은 다른 계정으로 시도해보니 아무 변화도 일어나지 않았다...

프로그래머스 AI dev course를 수강하면서 깃과 깃허브를 조금씩 경험하고 있는 중이다. 아직 팀 협업은 거의 하지 않고, 개인이 과제를 깃헙에 올리고 있다. numpy, pandas같은 주제를 수업하는 동안은 선생님이 수업 material을 올린 repository를 fork한 다음, 내 계정 repository에서 새 branch를 만들어서 거기에 내가 한 과제를 올리고 pull request를 하는 식을 과젤르 제출하였다. 이번에 제출한 월말 과제는 내 repository에 결과물을 올리고, 강사님 계정의 discussion 탭에 글을 써서 내 repository 링크를 다는 식으로 제출하였다. 그런데 정신없이 과제를 제출하고, 잠시 짬이 나서 내 깃헙을 보니 이렇게 되어 있더라. 남이 봐도 ..

파이썬 수업 진행을 주피터 노트북 , .ipynb 파일로 많이 진행하는데, 이걸 일일이 복사 붙여넣기 하면서 블로그 포스팅하기가 귀찮아졌다. 주피터 노트북의 확장자 .ipynb 파일을 블로그로 바로 포스팅할 수 있는 .md, 개인 홈페이지로 올릴 수 있는 .html, 프린팅이나 배포에 편리한 .pdf 파일로 바로 변환할 수 없을까? 찾아보았다. jupyter nbconvert --to markdown [변환할 노트북 파일명].ipynb 이렇게 하면 원래 주피터 노트북 파일이 있던 디렉토리에 .md 파일과 노트북 파일에 있던 이미지들(seaborn 그래프 같은 것들)이 저장된 files 폴더가 생성된다. 이렇게 잘 변환되어 저장되었다. html 로 변환하고 싶은 경우에는 위의 명령어에서 markdown만 ..

감상: T academy 와 ssacxfast campus, codecademy에서 무료 3번이나 수강했던 git 활용 강의 프로그래머스 데브 코스 강의에 또 나왔다. 그만큼 중요하고, 또 그만큼 능숙하게 활용하는 것이 쉽지 않다는 뜻이리라. 특강만 계속 들었을 뿐 나도 사실 꾸준히 커밋을 하지 못했다. 계속 수업을 듣다보니 개인 프로젝트를 진행하기 버거웠고, 팀으로 작업한 적이 별로 없어서. 그렇게 안쓰면 또 까먹고 못쓰게 되는 거라 다들 깃헙 블로그라도 하라 하는 것 같다. 이번 주는 비교적 공부하는 내용이 가벼우므로, 이를 활용해 알고리즘 복습을 하기로 했다. 책을 보면서 목차에 따라 차근 차근 리트코드 문제를 풀어보는 중. 오늘은 6장 문제 3개를 풀어보고 복습과 정리가 필요한 부분은 따로 블로그..