Rolling Snowball

나는 Intel Mac을 사용하고, 평소에 virtualenv를 활용하여 가상환경을 만드는 편이다. python -m virtualenv myvirtualenv 특별히 파이썬 버전을 지정하고 싶은게 아니라면 내가 가상환경 폴더를 생성하고 싶은 디렉터리에 가서 (보통은 내 프로젝트 루트 디렉터리) 위의 명령어를 사용해 가상환경을 만들고, source myvirtualenv/bin/activate 이 명령어를 통해 가상환경을 실행시켜 가상환경에 진입해왔다. 크게 번거로울 일은 없긴 하지만, 가끔 폴더 위치가 헷갈리기도 하고, 어째튼 타자를 쳐야하니, 조금이라도 더 간단한 방법을 이제야 알게되어 한결 편해졌다. /Users/[내 유저이름]/.zshrc 파일을 열어서 alias myvirtualenv='cd [..

환경 tested on Python 3.9.12 macOS 13.2.1(22D68) cpu apple M1 10core 현상 AWS RDS에서 정보를 가져오고 일정 조건에 해당되는 영상 파일을 S3 링크에서 다운로드 받고, 영상 파일과 메타 데이터를 처리한 다음, 그 결과를 구글 클라우드 API를 활용하여 특정 구글 드라이브에 업로드하는 파일을 만들었다. 그리고 이 파일을 매일 자동으로 실행하기 위해, 파이프라인 구축 하기 전에 간단하게 로컬에서 크론탭을 사용하여 매일 1회 자동 파일 실행을 설정했으나 파일 실행이 되지 않는 문제 발생 Log 크론으로 실행된 파일의 output은 터미널에 프린팅되지 않기 때문에 로그에 기록할 필요가 있음 (참고) 파일 실행의 결과를 로그 기록하게 설정하는 크론 명령어 *..

요즘 웬만한 경우에는 업무를 노트북으로 하고, 딥러닝 모델을 학습은 GPU와 쿨링 시스템이 필요하다 보니 데이터 직군들은 대부분의 업무를 원격 서버 또는 원격 컴퓨터에서 작업할 것이다. 나 역시 그렇게 작업하고 있고, aws 등의 클라우드 서버 작업할 일도 많기 때문에 아래 그림처럼 원격 컴퓨터1에서 원격 컴퓨터2로 데이터를 옮겨야 하는 일도 빈번하다. GUI없이 터미널에서 데이터를 복사하는 작업을 정리했다. 1. 원격 컴퓨터 2에 ssh로 접속 먼저 데이터를 받을 리모트 컴퓨터에 ssh로 접속한다. (password 가 필요한 경우 아래 명령어를 입력하고 나면 비밀번호 입력하라고 뜨고, 그 때 입력하면 된다) ssh [사용자id]@[remote com 2의 host address] -p [ssh 포트 ..

A. 쉘스크립트의 for loop 문법인 for .... do ~ done 의 do 다음에 if 조건문 문법인 if ... then ~ (else -) fi 문장을 넣어서 완성한다. 예시 #!/bin/bash for i in {1..10}; do if [ $i != 3 ]; then echo "hello $i" else echo "Sorry, no $i allowed";fi; done OUTPUT "hello 1" "hello 2" "Sorry, no 3 allowed" "hello 4" "hello 5" "hello 6" "hello 7" "hello 8" "hello 9" "hello 10"

벌써 작년이 되어 버린 KDT- AI dev 코스의 파이널 프로젝트... 그때는 남이 짠 모델 코드를 살짝 변형만 한 수준이어서 학습을 시킬 때 CLI에서 .sh 파일을 실행시키는게 뭔 의미인지 몰랐다. 그냥 arguement로 모델 학습의 하이퍼 파라미터를 바꿔준다는 것만 겨우 이해한 상태. 그 이후에는 내가 CLI에서 어떤 작업들을 했는지 나중에 확인하는 것이 확인하고 반복 작업하기가 어려워 되도록 주피터 노트북에서 파이썬으로 실행가능하게 작업을 하다가, 방통대에서 마침 UNIX 강의도 듣겠다 쉘 스크립트를 간단히 익혀 업무에 적용해보게 되었다. 쉘스크립트란? CLI에서 실행하는 명령어들을 스크립트 파일로 저장해서 나열하여 실행할 수 있게 만든 것 만들어서 사용하는 법 1. CLI에서 vi [파일이름..

엘라스틱서치는 역색인을 통해 풀텍스트서치를 지원해주어 검색의 속도와 성능이 뛰어나다고 들었다. NLP 솔루션 과정에서 엘라스틱서치를 활용할 수 있는지 모색하기 위해 엘라스틱서치를 설치하고 파이썬 클라이언트 패키지를 활용해 노트북에서 사용해봤다. 내 환경 : windows10 pro WSL2 ubuntu 20.04.4 LTS Docker Image 내려받기 Docker Image(https://www.docker.elastic.co)에서 os 및 버전에 맞게 선택 docker pull [docker.elastic.co/elasticsearch/elasticsearch:8.3.0-amd64]() 파이썬 클라이언트 패키지 설치, 엘라스틱 버전에 맞춰서 버전 설정해서 설치 pip3 install elastics..

WSL로 설치한 우분투(ubuntu 20.04.4 LTS) 에 도커를 설치해 사용하려고 했는데, 리눅스 도커를 검색해서 나온 포스팅들을 따라해도 제대로 설치 실행이 되지 않았다. $ docker version 을 입력해 확인해보면 다음과 같은 좋지 않은 메세지를 확인할 수 있었다. Cannot connect to the Docker daemon at tcp://localhost:2375. Is the docker daemon running? 참고 포스팅을 확인해보니 docker client는 설치가 되었지만 docker server는 설치가 되지 않는다고 한다 ㅠㅠ Windows HOST에 Docker Engine을 설치하고 WSL에서 Docker Engine을 연결하는 방식으로 사용해야 한닪다. WSL..

원래 개인용으로는 Mac을 오랫동안 사용해왔고, 개발 역시 Mac에서 시작했지만, 입사 이후에는 회사에서 제공해주는 & 그리고 팀에서 공통으로 사용하는 Windows 기반으로 업무를 해오고 있다. 그러나 때때로 linux를 써야할 일이 있고(원격 GPU 서버에 접속하여 학습, 또는 AWS EC2를 통해 사용하는 웹서버, docker 사용... ), 로컬에서 linux를 쓸 경우에는 VMware 가상머신을 사용해서 리눅스를 설치, 사용했는데 당연하게도 느려서 사용성은 크게 떨어졌었다. 그런데 본이 아니게 회사에서 컴퓨터를 바꾸게 되면서 새롭게 Windows 셋팅을 하다가 WSL (Windows Subsystem Linux)를 통해서 쉽게 리눅스OS 사용이 가능하다는 것을 알게 되었다. 참고 블로그를 따라서..

$ python3 --version Python 3.6.9 $ sudo apt update $ sudo apt upgrade #pyenv 설치 curl -L https://github.com/pyenv/pyenv-installer/raw/master/bin/pyenv-installer | bash # .profile 에 추가해주자. export PATH="/home/gyus/.pyenv/bin:$PATH" eval "$(pyenv init -)" eval "$(pyenv virtualenv-init -)" # 파이썬 설치 $ pyenv install 3.8.10 $ pyenv virtualenv 3.8.10 py38 $ python --version Python 3.8.10 #vscode 연결 code ..