Rolling Snowball

나는 문과생으로 어학 관련된 일을 주로 하다가 2020년 코로나 직격탄을 맞고, 하던 개인사업을 2020년 폐업했다. 그리고 늦은 나이에 재취업을 하려면 어떻게 해야하나 고민하다가 소위 '코딩 열풍'을 나도 접하고 프로그래밍을 공부해야겠다고 마음먹었는데, 어쩌다보니 서울산업진흥원에서 운영하는 구 새싹 현 청년취업사관학교를 알게 되었다. 정확히 어떻게 처음 알게 되었는지는 기억이 안나는데 아마도 웹에서 검색하다 알게되었던 것 같다. 이 때 상태는 코딩에 대해서는 정말 아무것도 모르는 상태로, 처음 배울 땐 html을 배워야 한다고 어딘가에서 들어서 웹에서 좀 검색해서 해보다가 이것도 어렵다고 생각하고 있던 찰나였다. 내가 수강한 과정은 온라인 과정 2개, 오프라인 과정 2개인데, 온라인 과정인 '실무 프로..

9월, 아니 8월 말 부터 시작한 방송통신대학 컴과 3학년 2학기. 벌써 출석대체시험과 기말시험만 남았다. 출석대체시험은 나처럼 재직중이거나 기타 여러가지 이유로 출석수업에 참여하지 못하는 사람들이 말그대로 출석을 대체하는 시험을 치루는 것이다. 약간 아쉬운 점은 출석대체시험과 기말고사 사이에 기간이 2주 정도 밖에 차이가 나지 않아서 한 학기 동안 적절히 분배해서 공부하고 테스트하는 기능을 하지 못하는 것. 사정은 있는 것이 나처럼 처음부터 출석수업을 신청하지 않은 사람 뿐 아니라, 출석수업 신청을 하였으나 불가피한 사정으로 참석하지 못한 사람들도 이 시험으로 출석수업 대체를 하기 때문에 출석 수업 기간이 마무리가 되어야 치를 수 있는 것 같았다. 나는 이번 학기에 총 5과목을 수강하는데, (원격대학교..

A. 로컬 컴퓨터에 rstp 서버를 설치하고, ffmpeg, gstreamer 같은 멀티미디어 스트리밍 프레임워크를 활용하여, 전송한다. 1. 내 로컬 컴퓨터에 rstp 서버 설치 및 실행 2. ffmpeg , gstreamer 등을 활용하여 스트리밍 영상 전송하기 3. 포트 포워딩으로 외부 접속 가능하게 포트 열기 4. rstp주소로 접속하여 노트북에서 스트리밍하는 영상 확인

*22년 12월 20일 추가* Pay As You Go는 코랩 프로로 안쳐주다 보니 백그라운드 실행이나 터미널 창 제공 같은 프로의 혜택을 누릴 수 없어서 상당히 아쉽다. 한 편으로 회사에서 월 9.99 달러 짜리 Colab Pro 구독을 해주셨는데, 이건 컴퓨팅 자원 100단위 제공인데 CV에서 700장 정도 되는 이미지 mask_RCNN 파인튜닝 몇 번 했더니 녹아 없어졌다. 100단위를 다 썼더니 바로 이 Pay As You Go 서비스를 추가로 결제하라고 안내를 해줬다. 진짜로 코랩 프로 + 추가 결제 서비스를 같이 쓰는게 활용성이 제일 좋을 것 같다. (근데 회사에 그렇게 해달라고 요청할 수 있을지 모르겠다. 코랩은 진짜 말 그대로 테스트 용도로만 쓰는 것이기 때문에) 21년 8월에 KDT 과정..

A. NVTOP 을 활용한다. 환경 OS Ubuntu 20.04 LTS shell bash GPU NVIDIA RTX A5000 지난 포스팅에서만 해도 무식하게 nvidia-smi를 계속 들여다 보는 식으로 모니터링을 했는데, 시계열 그래프로 훨씬 편리하게 gpu 모니터링이 가능한 툴이 있었다. 공식 깃허브 https://github.com/Syllo/nvtop GitHub - Syllo/nvtop: GPUs process monitoring for AMD, Intel and NVIDIA GPUs process monitoring for AMD, Intel and NVIDIA - GitHub - Syllo/nvtop: GPUs process monitoring for AMD, Intel and NVIDI..

환경 맥북 프로 18, 1 (애플 M1 Pro 칩, 메모리 16GB) 맥 OS (Monterey 12.5.1) 10-core CPU with 8 performance cores and 2 efficiency cores 16-core GPU prerequisites 파이썬3.7 이상 (그 이상도 잘 지원해줄 것 같지만, 내가 사용하려던 모델의 권장 버전이 3.7이라서 3.7.13으로 설치하여 사용하였다. 맥북 m1에서 파이썬 3.7 이하를 설치하여 사용하는 방법은 다음 포스팅 참고) 가상환경 만들기 (나는 원래 virtualenv를 훨씬 선호하지만, m1에서 파잇썬 3.7 이하를 설치하는데 애로사항이 있어 어쩔 수 없이 pyenv로 가상환경을 만들었다. 파이토치 1.12.0이상 설치하기 python -m ..

환경 MacOS v12.6 Apple M1 Pro chip 파이썬 가상환경 버전 관리를 맥에서 아나콘다 가상환경 구성 -> 윈도우에서 virtualenv 구성으로 하다가 업무용 컴퓨터가 맥 M1으로 바뀌면서 그냥 virtualenv으로 가상환경 구성을 하고 파이썬 버전은 3.9을 고정으로 사용하고 있었다. 참고 맥, 리눅스에서 python anaconda 가상 환경 생성, 확인, 삭제 하기 (mac, linux) Q. jupyter notebook 파일을 실행할 때 새로운 가상환경을 만들고 이용하는 방법은? Q. 윈도우 환경에서 아나콘다 없이 가상환경 설정, 주피터 노트북 사용하는 방법은? 그런데 본격적으로 여러 모델들을 다루게 되면서 3.7 이하의 파이썬 버전에서 빌딩한 모델을 테스트해보게 되었는데 ,..

A. $ watch -n 0.1 nvidia-smi 나같은 경우는 vscode 아래에 터미널 창을 띄워놓고 상단의 노트북에서 열심히 작업을 굴리면서 모니터링을 한다. 다시 일반적인 CLI 입력창으로 나가고 싶으면 ctl+z 키를 입력하면 된다. *추가 : terminal에서 비주얼적으로 gpu 사용량을 확인할 수있는 nvtop이라는 프로그램이 훨씬 직관적이다. https://rollingsnowball.tistory.com/309 다만 nvidai-smi이든 nvtop이든 현재 사용하고 있는 상황을 실시간 모니터링 하는 것이기 때문에 학습기간 전반의 gpu 메모리 사용량을 확인하고 싶다면 로그를 남기는 것이 좋다. (그라파나를 활용할 수 있다고...)

A. 쉘스크립트의 for loop 문법인 for .... do ~ done 의 do 다음에 if 조건문 문법인 if ... then ~ (else -) fi 문장을 넣어서 완성한다. 예시 #!/bin/bash for i in {1..10}; do if [ $i != 3 ]; then echo "hello $i" else echo "Sorry, no $i allowed";fi; done OUTPUT "hello 1" "hello 2" "Sorry, no 3 allowed" "hello 4" "hello 5" "hello 6" "hello 7" "hello 8" "hello 9" "hello 10"

벌써 작년이 되어 버린 KDT- AI dev 코스의 파이널 프로젝트... 그때는 남이 짠 모델 코드를 살짝 변형만 한 수준이어서 학습을 시킬 때 CLI에서 .sh 파일을 실행시키는게 뭔 의미인지 몰랐다. 그냥 arguement로 모델 학습의 하이퍼 파라미터를 바꿔준다는 것만 겨우 이해한 상태. 그 이후에는 내가 CLI에서 어떤 작업들을 했는지 나중에 확인하는 것이 확인하고 반복 작업하기가 어려워 되도록 주피터 노트북에서 파이썬으로 실행가능하게 작업을 하다가, 방통대에서 마침 UNIX 강의도 듣겠다 쉘 스크립트를 간단히 익혀 업무에 적용해보게 되었다. 쉘스크립트란? CLI에서 실행하는 명령어들을 스크립트 파일로 저장해서 나열하여 실행할 수 있게 만든 것 만들어서 사용하는 법 1. CLI에서 vi [파일이름..

다큐멘테이션 : https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.duplicated.html Q. 표와 데이터가 있다. 그런데 중복이면 안되는 열 있거나, (ex. 생일이 똑같은 유저는 얼마든지 있어도 상관없는데, 전화번호가 똑같으면 안된다.) 입력할 때 오류가 있어서 모든 내용이 완전히 중복된 행이 있는 것 같은데 확인하기 어려울 때, 아니면, 모든 열의 값에 겹치는 것이 하나도 없는 행들만 남기고 싶을 땐 어떻게 해야할까? A. 표를 판다스 데이터프레임으로 만들어 해결한다. pandas.DataFrame.duplicated() 는 중복인 row가 있으면, True를 반환해주는데, 이를 몇가지 상황에서 활용할 수 있다. 1. 특정 컬럼이 중..

처음 파이썬을 배우게 되면 보통 파이썬 다운로드와 환경 세팅을 위해서 아나콘다를 다운받아서 사용하라고 한다. 특히 주피터 노트북 사용이나 가상환경 사용을위해서 이를 더 강조하는데, 내 생각엔 대부분의 작업이 콘다 없이 가능한데 굳이 무거운데다 가상환경 경로까지 관리하기 귀찮은 콘다를 굳이 사용할 필요가 없다는 생각이다. 이번에 이직을 하게 되면서 새 노트북을 받아 세팅하게 되었는데, 대부분의 참고 포스팅이 콘다를 활용하도록 가이드하고 있어, 콘다 없이 세팅한 과정을 공유하고자 한다. 환경 맥북 프로 18, 1 (애플 M1 Pro 칩, 메모리 16GB) 맥 OS (Monterey 12.5.1) 10-core CPU with 8 performance cores and 2 efficiency cores 16-..

비전공자, 문과생으로서 취업교육으로 ML 공부를 시작하고, 취업해서 일을 하면서 비전공자는 Computer Science에 대한 기본기가 부족해서 발전의 방향이나 속도에서 차이가 있다는 얘기를 종종 들었다. 내가 실무를 하면서 실제 만나게 된 전공자들은? 그런 차이가 느껴지는 사람도 있었고, 그렇지 않은 경우도 있었다. 어째튼 앞으로 계속 이 분야에 있으려면 커리어 초반인 지금 기본기를 다져놓는 것도 나쁘지 않을 것 같아 방통대 CS 편입을 신청했다. 방통대이니 만큼 저렴한 가격과 자기학습을 지원해주는 여러가지 제도가 있어 나처럼 꾸준함과는 거리가 있는 사람도 꾸준히 공부할 수 있게 도움이 될 것 같다. 첫학기인데 들입다 전공만 신청.... 과연 잘 할 수 있을지.