[AI class final project] 선행논문 브라우징 & 일부 모델 데모 실행

'가상 옷입기'를 주제로 선행 논문들을 가볍게 브라우징 해보았다.

 

참고

https://paperswithcode.com/task/virtual-try-on

Papers with Code - Virtual Try-on

https://awesomeopensource.com/project/minar09/awesome-virtual-try-on

 

대략적으로 알게 된 사실과 이슈를 정리해보면 다음과 같다.

 

1.

가장 많은 논문들에서 훈련에 사용한 dataset은 독일 쇼핑몰 zalando에서 수집한 VITON dataset인 것 같다.

그런데 현재는 저작권 문제 때문에 다운로드 받을 수가 없다고...

그밖에 DeepFashion, polyvore dataset을 활용한 경우도 있다는데 확연히 그 수가 적은 것 같다.

 

2.

VITON dataset은 공식적으로 available 하지 않지만, 논문 demo를 위해서 저자들이 제공해주는 일부 데이터를 받을 수 있었는데, 

모델의 이미지도 상체~ 허벅지까지 보이는 경우가 많았고, 옷 이미지는 상의만 있었다.

그래서인지 내가 살펴본 논문들은 거의 다 상의 이미지로만 train시킨 것이었다.

모델 이미지가 전신일 때, 그리고 입혀볼 옷의 이미지가 하의일 때, 좋은 결과를 낳을 수 있을지,

그게 안되면 기존 모델을 가지고 전신 모델, 하의 옷을 학습할 수 있을지 잘 모르겠다.

 

3. 

논문, 모델에 따라 원리가 다르기 때문에 당연하겠지만, input data의 형태가 조금씩 다르다.

보통 기본적으로 모델 image와 옷 image 파일이 들어가는데, 당연히 이미지 사이즈가 다를 것이기에, 이를 resize하는 코드가 필요하다.

기본 image 파일 뿐 아니라, 모델 구조에 따라서 모델 또는 옷의 edge를 기록한 json 파일이 필요한 경우,

모델의 skeleton point 를 json으로 기록한 경우,

흑백으로 masking한 이미지 파일이 필요한 경우,

등의 다양한 case가 있었다.

따라서 기존 논문의 pretrained model에 내가 새로운 이미지로 test한다면, 모델 구조에 맞게 input dataset을 구축해야할 필요가 있다.

 

4. 

AIHub에 패션 상품 및 착용 이미지 데이터셋이 있다.

한국인 모델의 전신 이미지와, 여러 패션 아이템 이미지, 그리고 모델과 옷의 keypoint를 기록한 json파일로 구성이 되어있다.

기존 모델을 추가학습 시키거나, pretrained model을 테스트할 때 활용할 수 있을 것 같다.

 

1,2,3을 염두에 두면서 몇몇 논문들을 중에 pre-trained model checkpoints를 오픈해 demo를 돌려볼 수 있는 논문들을 선정해서 demo로 test를 도려보았다.

팀에서 논문을 나눠서 진행했고, 내가 본 논문/ 모델은 아래와 같다.

https://paperswithcode.com/paper/parser-free-virtual-try-on-via-distilling

Papers with Code - Parser-Free Virtual Try-on via Distilling Appearance Flows

깃허브 레포에 README.md를 비교적 상세하고 명확하게 기록해놓아 큰 어려움 없이 demo는 실행할 수 있었다.

 

다음 해야할 일은

1. 4번의 데이터셋을 활용하여 test를 진행했을 때, 2번 이슈가 문제 없이 좋은 결과가 나오는지 확인하는 것

2. 다른 이슈를 대비해서 pretrained model demonstration이 가능한 다른 논문/모델을 찾아보는 것

이다.