Rolling Snowball

nlp 과제를 하다보니 cv 과제를 할 때 보다 특정 사이트에서 데이터를 가져오는 작업을 하는 일이 많아졌다. 그런데 수천개 페이지 이상의 자료를 크롤링하다보니 처음에 예상하지 못했던 에러가 발생하는 일이 잦았다. 밤새 수천 개쯤 걸어둔 작업이 완료되었을거라 기대하고 아침에 확인했을 때, 열 개쯤 돌아가다 멈춘 걸 보고 좌절 ㅠㅠ. 을 반복해서 겪다보니 에러 발생시 폰으로 알림을 받고 싶어졌다. 슬랙봇이 비교적 쉽게 이런 일을 해준다고 해서 검색. 준비물 : 슬랙 아이디와 슬랙 워크스페이스 https://api.slack.com/messaging/webhooks 1. 슬랙앱 만들기 : 이전에 만든 적이 없다면, 아래 주소에 가서 새로운 슬랙 앱을 만든다. from scratch (처음부터 만들기)를 선택..

환경 Windows 10 Pro python 3.8.12 IDE - vscode 에러 발생 상황 konlpy 0.6.0 버전의 형태소분석기 Kkma로 명사 추출을 진행중. 동일한 코드로 테스트를 위해 10000개 행까지만 슬라이싱해서 진행할 경우는 코드가 잘 돌아가지만, 전체 텍스트를 동일한 코드 실행할 경우 outofmemory 에러 발생 # 3. 명사 추출 def extract_nouns(text, stopwords_path = False): kkma = Kkma() noun = kkma.nouns(text) result = [] if stopwords_path: stopword_list = get_stopwords(stopwords_path) # Stopword 및 한글자 형태소 제거 for n i..

세상에! 이렇게 유용한 라이브러리가 있었다니! 한국어 오픈소스 말뭉치들의 다운로드와 전처리를 라이브러리로 불러와서 쉽게 사용할 수 있게 해주는 라이브러리 Korpora를 이제야 알게 되었다. 한국어 nlp 테스트를 정말 쉽고 편하게 할 수 있을 것 같다. 앞으로 더 많은 오픈소스 텍스트가 공개되고, Kopora에도 편입되어 연구와 활용에 널리 사용할 수 있게 되길 희망한다. https://ko-nlp.github.io/Korpora/ko-docs/introduction/ 코포라 소개 · Korpora 코포라 소개 Korpora는 오픈소스 말뭉치들의 다운로드와 전처리 기능을 제공하는 파이썬 라이브러리입니다. 복잡한 설명을 피하고 싶으신 분들은 ‘설치 방법'과 ‘빠른 사용법'만 읽으셔도 간편 ko-nlp.g..

A. ipykernel 라이브러리를 활용하면 쉽게 이용 가능하다. 환경 Windows 10 Pro python 3.8.12 IDE - Visual Studio Code 파일 포맷 - .ipynb 참고 anaconda, virtual env + jupyter notebook 활용 https://janakiev.com/blog/jupyter-virtual-envs/ https://daseuul.tistory.com/12 python -m venv "가상환경이름" source ./"가상환경이름"/bin/activate # 리눅스에서 실행할 경우 . "가상환경이름"\Scripts\activate # 윈도우즈에서 실행할 경우 python -m site python -m pip install ipykernel py..

지금까지는 주로 잘 알려진 벤치마크 데이터셋이나 AI Hub나 kaggle의 데이터셋을 활용하는 과제만 해왔다. 그래서 사실 직접 이미지 데이터를 수집하고 정제하는 경험이 많지 않았...거의 없었다. (물론 이미 수집된 데이터도 과제에 따라서 정제하고 전처리하는 과정을 거치긴 하지만 거친 세상(in the wild ㅋㅋ)에 있는 데이터를 수집해서 추리는 과정에 비하면 훨씬 간단하고 단순한 편이다. 이번에 시간이 좀 생겨서 모델 품질 향상을 위해 다양한 데이터를 활용할 겸, 이미지 데이터셋 만들기 연습,훈련도 할 겸 이미지 검색 결과를 바탕으로 데이터셋을 만드는 연습을 해봤다. 1. Google Custom Search API 활용하기 참고 http://sudahe.blogspot.com/2019/08/s..

paper https://arxiv.org/pdf/1906.08172v1.pdf 공식 깃허브 https://github.com/google/mediapipe GitHub - google/mediapipe: Cross-platform, customizable ML solutions for live and streaming media. Cross-platform, customizable ML solutions for live and streaming media. - GitHub - google/mediapipe: Cross-platform, customizable ML solutions for live and streaming media. github.com 블로그 https://google.github.i..

환경 Windows 10 Pro python 3.8.12 IDE - Visual Studio Code 파일 포맷 - .ipynb 에러 발생 상황 내가 작업하고 있던 컴퓨터에 다른 분이 원격 접속해 주피터 노트북에서 작성한 .ipynb 파일 작업을 하셨다. 정확히 어떤 작업을 하셨는지는 알지 못하지만, 내가 만든 가상환경 안에서 작업을 하신 상황. 원격 작업이 끝난 뒤에 내가 다시 작업을 하게 되었고, 이미 내가 기존에 만든 가상환경들에서 여러 에러를 경험하고 있는 상황. https://rollingsnowball.tistory.com/263 Q. The kernel failed to start due to an error with the Win32api module. Consider (re) instal..

환경 Windows 10 Pro python 3.8.12 IDE - Visual Studio Code 파일 포맷 - .ipynb 에러 발생 상황 내가 작업하고 있던 컴퓨터에 다른 분이 원격 접속해 주피터 노트북에서 작성한 .ipynb 파일 작업을 하셨다. 정확히 어떤 작업을 하셨는지는 알지 못하지만, 내가 만든 가상환경 안에서 작업을 하신 상황. 원격 작업이 끝난 뒤에 내가 다시 작업을 하게 되었고, 다른 폴더의 다른 파일을 작업하려 했으나 모듈을 import하는 첫번 째 셀부터 실행이 되지 않았다. 다른 가상환경에서는 이미 다른 에러를 경험해서 해결한 바 있는 상황. https://rollingsnowball.tistory.com/263 Q. The kernel failed to start due to..

환경 Windows 10 Pro python 3.8.12 IDE - Visual Studio Code 에러 발생 상황 내가 작업하고 있던 컴퓨터에 다른 분이 원격 접속해 주피터 노트북에서 작성한 .ipynb 파일 작업을 하셨다. 정확히 어떤 작업을 하셨는지는 알지 못하지만, 내가 만든 가상환경 안에서 작업을 하신 상황. 원격 작업이 끝난 뒤에 내가 다시 작업을 하게 되었고, 다른 폴더의 다른 파일을 작업하려 했으나 모듈을 import하는 첫번 째 셀부터 실행이 되지 않았다. 에러 메세지 The kernel failed to start due to an error with the Win32api module. Consider (re) installing this module. View Jupyter [lo..

환경 Windows 10 Pro python 3.8.12 에러 발생 상황 konlpy를 활용해 형태소 분석하는 코드가 포함된 앱을 cx_Freeze 모듈을 활용하여 exe 실행파일을 만들었다. 앱이 cmd창에서 파이썬 파일을 실행할 때는 에러없이 잘 실행되었으나 exe 파일을 실행하면 아래와 같은 에러 메세지가 뜨는 상황. 에러 메세지 File "C:\Users\User\AppData\Local\Programs\Python\Python38\lib\site-packages\jpype\_core.py", line 221, in startJVM _jpype.startup(jvmpath, tuple(args), SystemError: java.lang.ClassNotFoundException: org.jpype..

환경 Windows 10 Pro python 3.8.12 에러 발생 상황 새로운 가상환경을 만들고 한국어 자연어 처리와 관련된 형태소 분석 코드를 실행하고자 하는데 다음과 같은 에러 메세지가 떴다. 에러 메세지 SystemError: java.nio.file.InvalidPathException: Illegal char at index 83: C:\Users\User\AppData\Local\Programs\Python\Python38\Lib\site-packages\konlpy\java\* 해결 에러 메세지를 구글 검색해서 몇몇 블로그에 들어가 해결책을 따라 하였으나 문제가 해결되지 않았다. 그러다가 https://daewonyoon.tistory.com/386 이 블로그를 따라해서 문제를 해결할 수 ..

* 2022년 1월 18일 내용 추가* 수업을 30% 정도 수강한 상태인데 지금까지 너무 좋다. 내가 생각하는 좋은 점 1. 강의가 10~30분 정도로 분리되어 나누어져 있는데 나중에 특정 부분만 복습하고 싶거나 내용을 색인하고 싶을 때 아주 유용하다. 한 강의가 2~3시간 씩 되는 경우, 대부분의 동영상 강의는 텍스트에 비해 검색과 색인이 어렵기 때문에 (내가 경험한 플랫폼 중에 그렇지 않은 것은 COURSERA 하나였다. 강의 목차도 세세하게 잘 되어 있고, 번역의 질이 구리긴 하지만 transcript에서 검색도 되어서) 나중에 필요한 부분만 복습하기 어려운데, 비교적 세부적 내용에 따라 구분이 잘 되어 있어서 좋다. 2. 강의안을 제공해준다. 이것도 너~~~~무 감사하다. 생각보다 강의안을 제공해..

환경 Windows 10 Pro python 3.8.12 IDE - Visual Studio Code 에러 발생 상황 파이썬으로 작성한 자연어 처리 프로그램을 pyinstaller를 통해서 exe 실행파일로 만들었다. konlpy와 soynlp로 형태소 분석, 명사 추출 등을 수행하는 전처리 과정이 포함된 프로그램이다. 여러가지 지저분한 .dll 파일들이 포함되는 옵션에서는 실행파일이 잘 실행됨을 확인하였다. 그 다음에 --F 옵션을 활용하여 one-file로 만들고, 실행파일이 잘 돌아가는지 테스트하는데 에러가 발생했다. 에러 메세지 FileNotFoundError: [Errno 2] No such file or directory: 'C:\\Users\\User\\AppData\\Local\\Temp\..