Rolling Snowball

국내 대학 교수님들의 강의를 무료로 들을 수 있게 제공해주는 K-MOOC에서 코세라 강의를 제휴해주어 몇가지 강의를 무료로 수강하고, 수료증까지 받을 수 있게 되었다. 그동안 프로젝트한다고 차일피일 미루던 MLOPS 강의를 드디어 등록. (사실 예전에 커리어톡에서 멘토가 되어주었던 데이터 엔지니어 분이 강추했던 강의였다. 그 이후로 급하게 취업이 되면서 얼레벌레 지나갔지만) 구글 ML 부트캠프 2기 참여 이후 오랫만의 코세라, 오랫만의 앤드류 응 선생님이다. 덕분에 영어 리스닝 훈련도 되게 생겼다. 2021년에 커리어 전환을 준비하느라 다양한 비대면 강의를 경험했는데 (프로그래머스, 패스트캠퍼스, 새싹, 엘리스, ) 강의의 수준은 단연코 최고이며, 주피터 노트북으로 과제를 제공하고 체점해준다는 점에서 플..

환경 Windows 10 Pro python 3.8.10 IDE - PyCharm Communityn Eddition 2021.3 처음 파이썬과 데이터 분석을 배울 때, 강사 선생님이 아나콘다부터 깔아서 사용하고, 가상환경도 콘다를 이용해 설정하는 것을 가르쳐 주셨던 기억이 난다. 그런데 쓰면 쓸수록 무겁고, 경로 설정도 헷갈리고, 깔끔하게 아나콘다 없이 환경 관리를 하고 싶어졌다. 감사하게도 회사 컴퓨터를 gpu 3060이 달린 pc로 바꾸게 되어, 새롭게 환경 설정을 하게 되었고, 이제 처음부터 콘다 없는 깔끔한 환경과 경로를 유지하고 있다. Q 1. 아나콘다 없이 가상환경 설정하는 방법은? A. venv 또는 virtualenv로 하면 된다. 순전히 취향 차이인데 나는 virtualenv를 사용한다..

환경 AWS RDS MySQL 8 pymysql 에러 발생 상황 컬럼 갯수가 10개 정도 되며, 그 중에 일부는 문서 단위 정보를 가진 데이터프레임의 데이터를 pymysql 라이브러리를 활용해 파이썬 언어로 AWS RDS에 구축한 MySQL에 insert 하는 상황. 데이터 타입이 medium text로 되어 있는, 즉 상당히 긴 텍스트를 연쇄적으로 insert query로 넣는 과정에서 중간에 에러가 발생했다. 에러 메세지 OperationalError: (1205, 'Lock wait timeout exceeded; try restarting transaction') 해결 구글 검색으로 해당 문제가 lock wait timeout 시간이 너무 오래 걸려서 생기는 문제일 가능성이 높다는 것을 알게 되었..

환경 Windows 10 Pro WSL ubuntu 18.04 IDE - Visual Studio Code 에러 발생 상황 윈도우에서 WSL ubuntu를 실행한 다음 터미널에서 code . 를 입력하여 vscode를 실행하고, vscode 내에서 터미널을 열어 작업을 하고 있었다. 그런데 json 파일을 수정 후 저장하려고 하니 저장할 수 없다며 에러 메세지가 팝업으로 떴다. 에러 메세지 (FileSystemError): Error: EACCES: permission denied, open '파일경로')을(를) 쓸 수 없음 해결 permission denied 말 그대로 권한 문제이기 때문에 내 유저에게 권한을 부여하면 된다. 리눅스의 소유자 변경 명령어 chown을 사용하여 아래와 같이 입력하면 해결..

환경 linux Ubuntu 20.04.4 LTS bash 에러 발생 상황 도커를 불러와서 작업을 시도하였으나 계속된 에러 발생으로 stackoverflow 를 헤매고 다녔다. (에러메세지 : ERROR: for fscrawler Cannot start service fscrawler: error while creating mount source path '/config': mkdir /config: read-only file system) 그러다 snap으로 도커를 설치한 경우 흔히 발생하는 문제이니 도커를 삭제하고 다시 깔아보라는 글을 보았고(https://github.com/rancher/rancher/issues/13900), 그를 따라 삭제했지만, 도커 버전을 확인하는 명령어를 입력하면 여전히 ..

ver : 5.0.9 Documentation 참고 : https://www.mongodb.com/docs/manual/tutorial/query-documents/ 조회 사용자와 사용자 권한 조회 use admin admin> db.getUsers() 데이터베이스 조회 show dbs * 모든 데이터베이스 이름 조회 가능 컬렉션 조회 > show collections 삭제 데이터베이스 삭제 use db.dropDatabase() 단 삭제 권한을 가지고 있는 유저를 사용하고 있을 때만 실제 삭제된다. 참고: https://rollingsnowball.tistory.com/290 유저 관련 유저 생성 db.createUser({ user: , pwd:, roles: [{role: , db: 'admin'}..

{ ok: 1, dropped: 'admrul' }​ db.createUser({ user: , pwd:, roles: [{role: 'root', db: 'admin'}] }); 환경 linux Ubuntu 20.04.4 LTS MongoDB 5.0.9 bash 에러 발생 상황 다른 곳에서 import 한 database에 문제가 있어서 해당 db를 삭제하려는 상황 https://www.tutorialkart.com/mongodb/mongodb-delete-database/ 위의 포스팅을 참고하여 해당 db로 간다음 db.dropDatabase() 입력했을 때 해당 에러 발생 에러 메세지 MongoServerError: not authorized on admrul to execute command { ..

nlp 중에서도 문서 단위의 long text를 분석 단위로 하다보니 RDB에 문서 단위의 텍스트를 저장하고 불러오는게 부담스러웠다. 문서의 길이가 대부분 5000 정도는 쉽고 table의 row도 만 개가 넘어가다 보니 단순히 SELECT * 만 해도 데이터를 받아보는데 수 초가 걸리는 상황이라 어쩔 수 없이 NoSQL로의 DB 전환을 할 수 밖에 없는 상황이 되었다. DB를 MongoDB에서 자체적으로 제공하는 클라우드 서비스인 MongoDB Atlas Database 나 AWS에서 MongoDB호환으로 서비스 하는 DocumentDB 를 활용하여 서버리스 데이터베이스를 구축하는 것이 좋겠지만, 아직까지는 서비스 운영을 위한 DB구축이 아니라 테스트 단계로 일단 AWS EC2 Ubuntu에 Mongo..

엘라스틱서치는 역색인을 통해 풀텍스트서치를 지원해주어 검색의 속도와 성능이 뛰어나다고 들었다. NLP 솔루션 과정에서 엘라스틱서치를 활용할 수 있는지 모색하기 위해 엘라스틱서치를 설치하고 파이썬 클라이언트 패키지를 활용해 노트북에서 사용해봤다. 내 환경 : windows10 pro WSL2 ubuntu 20.04.4 LTS Docker Image 내려받기 Docker Image(https://www.docker.elastic.co)에서 os 및 버전에 맞게 선택 docker pull [docker.elastic.co/elasticsearch/elasticsearch:8.3.0-amd64]() 파이썬 클라이언트 패키지 설치, 엘라스틱 버전에 맞춰서 버전 설정해서 설치 pip3 install elastics..

WSL로 설치한 우분투(ubuntu 20.04.4 LTS) 에 도커를 설치해 사용하려고 했는데, 리눅스 도커를 검색해서 나온 포스팅들을 따라해도 제대로 설치 실행이 되지 않았다. $ docker version 을 입력해 확인해보면 다음과 같은 좋지 않은 메세지를 확인할 수 있었다. Cannot connect to the Docker daemon at tcp://localhost:2375. Is the docker daemon running? 참고 포스팅을 확인해보니 docker client는 설치가 되었지만 docker server는 설치가 되지 않는다고 한다 ㅠㅠ Windows HOST에 Docker Engine을 설치하고 WSL에서 Docker Engine을 연결하는 방식으로 사용해야 한닪다. WSL..

원래 개인용으로는 Mac을 오랫동안 사용해왔고, 개발 역시 Mac에서 시작했지만, 입사 이후에는 회사에서 제공해주는 & 그리고 팀에서 공통으로 사용하는 Windows 기반으로 업무를 해오고 있다. 그러나 때때로 linux를 써야할 일이 있고(원격 GPU 서버에 접속하여 학습, 또는 AWS EC2를 통해 사용하는 웹서버, docker 사용... ), 로컬에서 linux를 쓸 경우에는 VMware 가상머신을 사용해서 리눅스를 설치, 사용했는데 당연하게도 느려서 사용성은 크게 떨어졌었다. 그런데 본이 아니게 회사에서 컴퓨터를 바꾸게 되면서 새롭게 Windows 셋팅을 하다가 WSL (Windows Subsystem Linux)를 통해서 쉽게 리눅스OS 사용이 가능하다는 것을 알게 되었다. 참고 블로그를 따라서..

$ python3 --version Python 3.6.9 $ sudo apt update $ sudo apt upgrade #pyenv 설치 curl -L https://github.com/pyenv/pyenv-installer/raw/master/bin/pyenv-installer | bash # .profile 에 추가해주자. export PATH="/home/gyus/.pyenv/bin:$PATH" eval "$(pyenv init -)" eval "$(pyenv virtualenv-init -)" # 파이썬 설치 $ pyenv install 3.8.10 $ pyenv virtualenv 3.8.10 py38 $ python --version Python 3.8.10 #vscode 연결 code ..

편집과 색인이 불가능한, 이미지 형태로 저장된 pdf 파일에서 텍스트를 추출하는 작업을 하고 있다. OCR을 활용해 추출했지만, 원본 pdf 파일의 글자가 흐린 경우, 당연하게도 문자인식이 잘 되지 않는다. 문제 해결을 위해 pdf 를 jpg로 바꾼 다음, opencv 라이브러리를 통한 처리를 활용해 보다 선명한 텍스트 이미지를 만들어 보려고 시도중. pdf2image 라이브러리를 활용하려 했지만, 에러 발생 PDFInfoNotInstalledError: Unable to get page count. Is poppler installed and in PATH? 검색해보니 poppler 설치가 필요하다고 한다. 윈도우즈에서 poppler를 설치하려면? https://github.com/oschwartz10..