Rolling Snowball

환경 tested on Python 3.9.12 macOS 13.2.1(22D68) cpu apple M1 10core 현상 AWS RDS에서 정보를 가져오고 일정 조건에 해당되는 영상 파일을 S3 링크에서 다운로드 받고, 영상 파일과 메타 데이터를 처리한 다음, 그 결과를 구글 클라우드 API를 활용하여 특정 구글 드라이브에 업로드하는 파일을 만들었다. 그리고 이 파일을 매일 자동으로 실행하기 위해, 파이프라인 구축 하기 전에 간단하게 로컬에서 크론탭을 사용하여 매일 1회 자동 파일 실행을 설정했으나 파일 실행이 되지 않는 문제 발생 Log 크론으로 실행된 파일의 output은 터미널에 프린팅되지 않기 때문에 로그에 기록할 필요가 있음 (참고) 파일 실행의 결과를 로그 기록하게 설정하는 크론 명령어 *..

요즘 웬만한 경우에는 업무를 노트북으로 하고, 딥러닝 모델을 학습은 GPU와 쿨링 시스템이 필요하다 보니 데이터 직군들은 대부분의 업무를 원격 서버 또는 원격 컴퓨터에서 작업할 것이다. 나 역시 그렇게 작업하고 있고, aws 등의 클라우드 서버 작업할 일도 많기 때문에 아래 그림처럼 원격 컴퓨터1에서 원격 컴퓨터2로 데이터를 옮겨야 하는 일도 빈번하다. GUI없이 터미널에서 데이터를 복사하는 작업을 정리했다. 1. 원격 컴퓨터 2에 ssh로 접속 먼저 데이터를 받을 리모트 컴퓨터에 ssh로 접속한다. (password 가 필요한 경우 아래 명령어를 입력하고 나면 비밀번호 입력하라고 뜨고, 그 때 입력하면 된다) ssh [사용자id]@[remote com 2의 host address] -p [ssh 포트 ..

A. 쉘스크립트의 for loop 문법인 for .... do ~ done 의 do 다음에 if 조건문 문법인 if ... then ~ (else -) fi 문장을 넣어서 완성한다. 예시 #!/bin/bash for i in {1..10}; do if [ $i != 3 ]; then echo "hello $i" else echo "Sorry, no $i allowed";fi; done OUTPUT "hello 1" "hello 2" "Sorry, no 3 allowed" "hello 4" "hello 5" "hello 6" "hello 7" "hello 8" "hello 9" "hello 10"

벌써 작년이 되어 버린 KDT- AI dev 코스의 파이널 프로젝트... 그때는 남이 짠 모델 코드를 살짝 변형만 한 수준이어서 학습을 시킬 때 CLI에서 .sh 파일을 실행시키는게 뭔 의미인지 몰랐다. 그냥 arguement로 모델 학습의 하이퍼 파라미터를 바꿔준다는 것만 겨우 이해한 상태. 그 이후에는 내가 CLI에서 어떤 작업들을 했는지 나중에 확인하는 것이 확인하고 반복 작업하기가 어려워 되도록 주피터 노트북에서 파이썬으로 실행가능하게 작업을 하다가, 방통대에서 마침 UNIX 강의도 듣겠다 쉘 스크립트를 간단히 익혀 업무에 적용해보게 되었다. 쉘스크립트란? CLI에서 실행하는 명령어들을 스크립트 파일로 저장해서 나열하여 실행할 수 있게 만든 것 만들어서 사용하는 법 1. CLI에서 vi [파일이름..