Rolling Snowball

환경 MacOS v12.6 Apple M1 Pro chip 파이썬 가상환경 버전 관리를 맥에서 아나콘다 가상환경 구성 -> 윈도우에서 virtualenv 구성으로 하다가 업무용 컴퓨터가 맥 M1으로 바뀌면서 그냥 virtualenv으로 가상환경 구성을 하고 파이썬 버전은 3.9을 고정으로 사용하고 있었다. 참고 맥, 리눅스에서 python anaconda 가상 환경 생성, 확인, 삭제 하기 (mac, linux) Q. jupyter notebook 파일을 실행할 때 새로운 가상환경을 만들고 이용하는 방법은? Q. 윈도우 환경에서 아나콘다 없이 가상환경 설정, 주피터 노트북 사용하는 방법은? 그런데 본격적으로 여러 모델들을 다루게 되면서 3.7 이하의 파이썬 버전에서 빌딩한 모델을 테스트해보게 되었는데 ,..

A. $ watch -n 0.1 nvidia-smi 나같은 경우는 vscode 아래에 터미널 창을 띄워놓고 상단의 노트북에서 열심히 작업을 굴리면서 모니터링을 한다. 다시 일반적인 CLI 입력창으로 나가고 싶으면 ctl+z 키를 입력하면 된다. *추가 : terminal에서 비주얼적으로 gpu 사용량을 확인할 수있는 nvtop이라는 프로그램이 훨씬 직관적이다. https://rollingsnowball.tistory.com/309 다만 nvidai-smi이든 nvtop이든 현재 사용하고 있는 상황을 실시간 모니터링 하는 것이기 때문에 학습기간 전반의 gpu 메모리 사용량을 확인하고 싶다면 로그를 남기는 것이 좋다. (그라파나를 활용할 수 있다고...)

A. 쉘스크립트의 for loop 문법인 for .... do ~ done 의 do 다음에 if 조건문 문법인 if ... then ~ (else -) fi 문장을 넣어서 완성한다. 예시 #!/bin/bash for i in {1..10}; do if [ $i != 3 ]; then echo "hello $i" else echo "Sorry, no $i allowed";fi; done OUTPUT "hello 1" "hello 2" "Sorry, no 3 allowed" "hello 4" "hello 5" "hello 6" "hello 7" "hello 8" "hello 9" "hello 10"

벌써 작년이 되어 버린 KDT- AI dev 코스의 파이널 프로젝트... 그때는 남이 짠 모델 코드를 살짝 변형만 한 수준이어서 학습을 시킬 때 CLI에서 .sh 파일을 실행시키는게 뭔 의미인지 몰랐다. 그냥 arguement로 모델 학습의 하이퍼 파라미터를 바꿔준다는 것만 겨우 이해한 상태. 그 이후에는 내가 CLI에서 어떤 작업들을 했는지 나중에 확인하는 것이 확인하고 반복 작업하기가 어려워 되도록 주피터 노트북에서 파이썬으로 실행가능하게 작업을 하다가, 방통대에서 마침 UNIX 강의도 듣겠다 쉘 스크립트를 간단히 익혀 업무에 적용해보게 되었다. 쉘스크립트란? CLI에서 실행하는 명령어들을 스크립트 파일로 저장해서 나열하여 실행할 수 있게 만든 것 만들어서 사용하는 법 1. CLI에서 vi [파일이름..

다큐멘테이션 : https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.duplicated.html Q. 표와 데이터가 있다. 그런데 중복이면 안되는 열 있거나, (ex. 생일이 똑같은 유저는 얼마든지 있어도 상관없는데, 전화번호가 똑같으면 안된다.) 입력할 때 오류가 있어서 모든 내용이 완전히 중복된 행이 있는 것 같은데 확인하기 어려울 때, 아니면, 모든 열의 값에 겹치는 것이 하나도 없는 행들만 남기고 싶을 땐 어떻게 해야할까? A. 표를 판다스 데이터프레임으로 만들어 해결한다. pandas.DataFrame.duplicated() 는 중복인 row가 있으면, True를 반환해주는데, 이를 몇가지 상황에서 활용할 수 있다. 1. 특정 컬럼이 중..

처음 파이썬을 배우게 되면 보통 파이썬 다운로드와 환경 세팅을 위해서 아나콘다를 다운받아서 사용하라고 한다. 특히 주피터 노트북 사용이나 가상환경 사용을위해서 이를 더 강조하는데, 내 생각엔 대부분의 작업이 콘다 없이 가능한데 굳이 무거운데다 가상환경 경로까지 관리하기 귀찮은 콘다를 굳이 사용할 필요가 없다는 생각이다. 이번에 이직을 하게 되면서 새 노트북을 받아 세팅하게 되었는데, 대부분의 참고 포스팅이 콘다를 활용하도록 가이드하고 있어, 콘다 없이 세팅한 과정을 공유하고자 한다. 환경 맥북 프로 18, 1 (애플 M1 Pro 칩, 메모리 16GB) 맥 OS (Monterey 12.5.1) 10-core CPU with 8 performance cores and 2 efficiency cores 16-..

비전공자, 문과생으로서 취업교육으로 ML 공부를 시작하고, 취업해서 일을 하면서 비전공자는 Computer Science에 대한 기본기가 부족해서 발전의 방향이나 속도에서 차이가 있다는 얘기를 종종 들었다. 내가 실무를 하면서 실제 만나게 된 전공자들은? 그런 차이가 느껴지는 사람도 있었고, 그렇지 않은 경우도 있었다. 어째튼 앞으로 계속 이 분야에 있으려면 커리어 초반인 지금 기본기를 다져놓는 것도 나쁘지 않을 것 같아 방통대 CS 편입을 신청했다. 방통대이니 만큼 저렴한 가격과 자기학습을 지원해주는 여러가지 제도가 있어 나처럼 꾸준함과는 거리가 있는 사람도 꾸준히 공부할 수 있게 도움이 될 것 같다. 첫학기인데 들입다 전공만 신청.... 과연 잘 할 수 있을지.

국내 대학 교수님들의 강의를 무료로 들을 수 있게 제공해주는 K-MOOC에서 코세라 강의를 제휴해주어 몇가지 강의를 무료로 수강하고, 수료증까지 받을 수 있게 되었다. 그동안 프로젝트한다고 차일피일 미루던 MLOPS 강의를 드디어 등록. (사실 예전에 커리어톡에서 멘토가 되어주었던 데이터 엔지니어 분이 강추했던 강의였다. 그 이후로 급하게 취업이 되면서 얼레벌레 지나갔지만) 구글 ML 부트캠프 2기 참여 이후 오랫만의 코세라, 오랫만의 앤드류 응 선생님이다. 덕분에 영어 리스닝 훈련도 되게 생겼다. 2021년에 커리어 전환을 준비하느라 다양한 비대면 강의를 경험했는데 (프로그래머스, 패스트캠퍼스, 새싹, 엘리스, ) 강의의 수준은 단연코 최고이며, 주피터 노트북으로 과제를 제공하고 체점해준다는 점에서 플..

환경 Windows 10 Pro python 3.8.10 IDE - PyCharm Communityn Eddition 2021.3 처음 파이썬과 데이터 분석을 배울 때, 강사 선생님이 아나콘다부터 깔아서 사용하고, 가상환경도 콘다를 이용해 설정하는 것을 가르쳐 주셨던 기억이 난다. 그런데 쓰면 쓸수록 무겁고, 경로 설정도 헷갈리고, 깔끔하게 아나콘다 없이 환경 관리를 하고 싶어졌다. 감사하게도 회사 컴퓨터를 gpu 3060이 달린 pc로 바꾸게 되어, 새롭게 환경 설정을 하게 되었고, 이제 처음부터 콘다 없는 깔끔한 환경과 경로를 유지하고 있다. Q 1. 아나콘다 없이 가상환경 설정하는 방법은? A. venv 또는 virtualenv로 하면 된다. 순전히 취향 차이인데 나는 virtualenv를 사용한다..

환경 AWS RDS MySQL 8 pymysql 에러 발생 상황 컬럼 갯수가 10개 정도 되며, 그 중에 일부는 문서 단위 정보를 가진 데이터프레임의 데이터를 pymysql 라이브러리를 활용해 파이썬 언어로 AWS RDS에 구축한 MySQL에 insert 하는 상황. 데이터 타입이 medium text로 되어 있는, 즉 상당히 긴 텍스트를 연쇄적으로 insert query로 넣는 과정에서 중간에 에러가 발생했다. 에러 메세지 OperationalError: (1205, 'Lock wait timeout exceeded; try restarting transaction') 해결 구글 검색으로 해당 문제가 lock wait timeout 시간이 너무 오래 걸려서 생기는 문제일 가능성이 높다는 것을 알게 되었..

환경 Windows 10 Pro WSL ubuntu 18.04 IDE - Visual Studio Code 에러 발생 상황 윈도우에서 WSL ubuntu를 실행한 다음 터미널에서 code . 를 입력하여 vscode를 실행하고, vscode 내에서 터미널을 열어 작업을 하고 있었다. 그런데 json 파일을 수정 후 저장하려고 하니 저장할 수 없다며 에러 메세지가 팝업으로 떴다. 에러 메세지 (FileSystemError): Error: EACCES: permission denied, open '파일경로')을(를) 쓸 수 없음 해결 permission denied 말 그대로 권한 문제이기 때문에 내 유저에게 권한을 부여하면 된다. 리눅스의 소유자 변경 명령어 chown을 사용하여 아래와 같이 입력하면 해결..

환경 linux Ubuntu 20.04.4 LTS bash 에러 발생 상황 도커를 불러와서 작업을 시도하였으나 계속된 에러 발생으로 stackoverflow 를 헤매고 다녔다. (에러메세지 : ERROR: for fscrawler Cannot start service fscrawler: error while creating mount source path '/config': mkdir /config: read-only file system) 그러다 snap으로 도커를 설치한 경우 흔히 발생하는 문제이니 도커를 삭제하고 다시 깔아보라는 글을 보았고(https://github.com/rancher/rancher/issues/13900), 그를 따라 삭제했지만, 도커 버전을 확인하는 명령어를 입력하면 여전히 ..

ver : 5.0.9 Documentation 참고 : https://www.mongodb.com/docs/manual/tutorial/query-documents/ 조회 사용자와 사용자 권한 조회 use admin admin> db.getUsers() 데이터베이스 조회 show dbs * 모든 데이터베이스 이름 조회 가능 컬렉션 조회 > show collections 삭제 데이터베이스 삭제 use db.dropDatabase() 단 삭제 권한을 가지고 있는 유저를 사용하고 있을 때만 실제 삭제된다. 참고: https://rollingsnowball.tistory.com/290 유저 관련 유저 생성 db.createUser({ user: , pwd:, roles: [{role: , db: 'admin'}..