outwit hub 웹 크롤링 프로그램 코딩X 간편하게 사용!

안녕하세요! 오늘은 제가 얼마 전에 알게 된 유용한 웹 크롤링 프로그램을 하나 소개하려고 합니다. 아마 대부분 웹 크롤링하면 코딩을 배워야 사용할 수 있다고 생각을 하실 것 같습니다. 저 또한 그런 생각을 했습니다. 누가 저 대신 이런 프로그램을 만들어주면 정말 좋은 텐데 말이죠. 그런 고민을 하다가 드디어 코딩도 필요 없고 간단하게 마우스 클릭과 간단한 문장만 입력하면 쉽게 웹 크롤링이 가능한 outwit hub 프로그램을 소개합니다.

 

우선 웹 크롤링 단어가 생소하신 분들도 계실 텐데 간략하게 소개해드리겠습니다. 웹크롤링이란 컴퓨터 소프트웨어 기술로 웹 사이트들에서 원하는 정보를 추출하는 작업을 말합니다. 그리고 웹 크롤러는 인터넷에 있는 웹페이지를 방문해서 자료를 수집하는 일을 하는 프로그램을 뜻합니다. 이때 한 페이지만을 방문하는 것이 아니라 그 해당 페이지에 링크되어 있는 다른 페이지를 순차적으로 방문하고 이처럼 링크를 따라 웹을 돌아다니는 모습이 마치 거미와 비슷하다고 해서 스파이더라고 부르기도 합니다. 

 

그럼 지금부터 outwit hub 웹 크롤링 프로그램을 소개하도록 하겠습니다.

 

outwit hub

 

우선 웹 크롤링 프로그램은 정말 다양합니다. 그래서 각 프로그램마다 구동하는 방식이 조금 다른데요. outwit hub는 웹 페이지 소스(HTML)를 기반으로 웹 페이지의 정보를 추출하는 프로그램입니다. 즉, HTML에서 원하는 정보의 위치만 알 수 있다면 쉽게 원하는 자료를 추출할 수 있습니다.

 

outwit hub 다운로드

우선 다운로드는 위 사이트를 통해서 하면 됩니다. 다행히 용량이 큰 편은 아니어서 간단한 크롤링이 목적이라면 충분히 사용할 수 있습니다. 사이트를 접속하시면 이 처럼 free download를 선택하시면 됩니다.

 

그 후 다운을 완료하시면 이렇게 창이 뜨는데 간단하게 뜹니다.

 

좌측 탭을 보시면 주료 활용할 부분은 바로 scraper과 scrapers입니다. scraped는 웹 크롤링 결과물을 확인할 수 있고 scrapers는 웹 크롤링을 위한 설정 탭입니다.

 

본격적으로 프로그램에 대해서 간단하게 설명하면 아래와 같습니다. 제일 상단에는 스크래핑하려는 사이트 주소, 그 밑에는 웹사이트 화면, 그다음은 페이지의 HTML 소스 마지막으로 크롤링 작업 공간입니다.

 

이해를 돕기 위해 예시를 하나 들겠습니다.

 

이 사이트를 통해서 각 나라와 도시를 크롤링하겠습니다. 우선 사이트 주소를 복사해서 outwit hub 웹 프로그래밍에서 앞서 설명한 스크래핑하려는 사이트 주소 부분(보라색칸)에 붙여 넣습니다.

 

붙여놓으면 이렇게 사이트가 화면에 나오는 것을 확인할 수가 있습니다. 

 

그럼 이제 원하는 추출하고 싶은 검색어를 드래그하여 우클릭하여 FInd in Source를 선택하거나 이 키워드를 복사한 후 작업공간인 scrapers 갑니다. 그리고 앞서 언급한 크롤링 작업 공간으로 이동합니다. 이때 NEW 버튼을 클릭 후 작업명을 입력하여 설정하면 됩니다. 참고로 이 작업을 하는 이유는 해당 단어 및 키워드가 HTML 어느 위치에 있는지를 파악하기 위한 것입니다.

 

그럼 Find in Source를 선택하셨다면 해당 단어 및 키워드가 파랗게 표시가 된 것을 확인할 수 있으며, 만약에 복사를 했다면 Find in page에 붙여놓기 하시면 됩니다.

 

이제 이 단어가 HTML에서 어디 위치에 해당이 된 것인지 확인이 되었습니다. '&nbsp'와 '(' 사이에 있는 것을 확인할 수가 있습니다. 그럼 순차적으로 Marker Before에 &nbsp를 입력 또는 해당 위치에 드래그합니다. Market After에는 ( 를 똑같이 드래그 및 입력합니다.

 

 

 

그리고 Description에 간단하게 설명을 입력합니다.

 

마지막으로 Execute를 클릭합니다.

 

그럼 이렇게 scraped에 처음에 추출하려고 했던 도시와 나라 이름이 추출되는 것을 확인할 수가 있습니다.

 

마지막으로 Export 버튼을 클릭하면 파일로도 저장이 가능하니 PC에 두고두고 쓰시면 됩니다. 처음에는 뭔가 복잡하고 어려울 수 있는데 한 두 번 사용하면 금방 숙달돼서 수월하게 사용할 수 있을 것입니다. 지금까지 outwit hub 웹 크롤링 프로그램에 대한 포스팅이었습니다.