Introduction 최근에 진행한 Project 중 특정 홈페이지를 크롤링하여 파싱하는 프로젝트가 있었습니다. 크롤링 보단 파싱에서 애를 많이 먹었습니다. 문서에서 table을 처리하는 것이 쉽지 않기 때문입니다. [이번 프로젝트 중점 사항] iframe이 존재하는 홈페이지 크롤링 hwp, xlsx, pdf 파일에서 table(표) 파싱 처리 [주요 python package] selenium : 크롤링의 시작과 끝 olefile : hwp 파일 파싱 openpyxl : xlsx 파일 파싱 PyPDF2 : PDF 파일 파싱 iframe 존재하는 홈페이지 크롤링 iframe이 존재하는 경우 창간 전환이 필요합니다....
이포스트는 이미지를 딥러닝으로 분류할 때 데이터 셋이 적고 통상적으로 퍼져있는 이미지 데이터셋을 사용하지 못할 때 유용한 방법에 대한 포스트입니다. Introduction 앞서 서술한 “통상적이지 않은 이미지 분류에 대한 고찰” 포스트에서 명품 손목시계 이미지 분류를 진행할 때 적은 이미지 셋을 CROP, Transfer Learning(전이학습)등을 통해 한계를 극복한 방법을 서술했습니다. 이번 포스트에서는 분류가 잘 안된 이미지를 분석하고 해결방안을 찾은 사례에 대해서 소개하고자 합니다. 왜 분류가 제대로 되지 않았는가? 앞선 model도 분명 괜찮을 정도의 성능이 나왔지만, 더 높은 성능을 위해서 데이터 분석이 필요하다고 느꼈습니다....
이포스트는 이미지를 딥러닝으로 분류할 때 데이터 셋이 적고 통상적으로 퍼져있는 이미지 데이터셋을 사용하지 못할 때 유용한 방법에 대한 포스트입니다. Introduction 일반적으로 말하는 Object Detection은 물체를 1.탐지 하고 2.구분 해주는 것을 의미합니다. 한 장의 사진에서 원하는 물체를 찾아서 분류까지 해주는 강력한 방법이지만 실제로 실무에 활용하려면 전제조건이 있어야합니다. 많은 이미지 데이터 셋을 보유하고 있거나 통상적으로 학습된 이미지 데이터 셋에 포함되어있다. 개인적으로 프로젝트를 진행하는 경우에 1번과 2번 모두 포함되지 않는 경우가 있습니다. 이러한 경우에 어떻게 내가 원하는 물체를 구분할 수 있을까 고찰했습니다....