목차
| 목록 | 세부 정보 |
|---|---|
| 개발사 | Webscraper.io |
| 운영체제 | Windows / MacOS |
| 파일 | web-scraper-free.exe / 1.54MB |
| 업데이트 | v.0.6.4 |
| 카테고리 | UtilitiesApplication |
| 주요기능 | 웹 크롤링을 손쉽게 할 수 있게 하는 무료 웹 데이터 추출 도구. 여러 페이지 데이터 스크래핑 기능. 텍스트, 이미지, URL 데이터 유형 추출 가능. AJAX, JavaScript 및 무한 스크롤 동적 페이지 데이터 스크래핑 기능. CSV 추출 기능 및 Excel 데이터 추출 기능. |
편집자 리뷰
누구나 웹에서 손쉽게 몇 번의 클릭과 입력 만으로도 스크래핑을 할 수 있는 크롬 확장 프로그램 데이터 추출 도구 입니다. Web Scraper는 크롤링 하고자 하는 사이트를 탐색하고 데이터를 추출하는 기능을 가지고 있습니다. 크롬 확장 프로그램을 이용하기 때문에 추가로 응용프로그램의 설치가 필요하지 않고, 웹 표준화에 맞춰진 동적 웹사이트의 크롤링도 거뜬히 수행합니다. PHP 및 JS 코딩의 경험이 없는 분들도 튜토리얼을 통해 데이터를 추출하는 자동화 시스템을 완벽히 구축할 수 있습니다. 데이터 수집이 완료되면 CSV 및 XLSX 파일로 다운로드 가능하기 때문에 데이터 편집에 대한 2차 작업이 용이합니다.
스크린샷
크롬 확장 프로그램과 파이어폭스 애드온에서 무료로 제공되고 있는 서비스로, 크롤링을 누구나 쉽게 할 수 있도록 지원합니다. 사진과 같이 포인트 클릭 기능을 지원하기 때문에 크롤링 셀렉터 설정 할 때 간편하고 빠른 추출을 할 수 있습니다. 또한, 요소를 가르키고 클릭을 통해 크롤러를 구성할 수 있고, 동적 웹 사이트에서도 데이터 추출이 용이 합니다. 크롤링이 완료된 후 CSV나 XLXS 데이터로 저장할 수 있기 때문에 구글 스프레드시트 등으로 가져오는 것도 작업이 용이합니다.
기능 및 사용법
셀렉터 기능
크롬 확장 프로그램 플랫폼을 사용하기 때문에 크롬 브라우저만 설치되어 있다면 누구나 사용할 수 있습니다. 설치 후 개발자 도구 F12 버튼을 눌러 Web Scraper 탭에서 사이트맵을 만들고 메타 데이터를 입력하기 위해, 위와 같이 셀렉터를 포인트 앤 클릭 인터페이스로 제공합니다. 이런 모듈식 선택 시스템을 통해 사이트맵 작성이 좀 더 구조화 되도록 조정할 수 있다는 장점을 지니고 있습니다.
동적 페이지 데이터 추출 가능
타 크롤링 서비스는 무한 스크롤, Ajax, JavaScript를 이용한 동적 페이지에서 추출이 잘 되지 않을 때가 있습니다. WebScraper는 다양한 수준의 탐색이 가능하고 거의 모든 웹 사이트를 탐색할 수 있도록 프로그램이 구축되어 있습니다. 카테고리 및 하위 카테고리, 쪽수 처리, 제품 페이지 처리 등의 기능을 지원합니다.
데이터 추출
브라우저에서 직접 크롤러를 만들고 나서 사이트의 데이터를 모두 긁어온 후 CSV 형식으로 데이터를 내보낼 수 있습니다. Web Scraper Cloud 기능을 이용하게 되면 CSV 또는 XLSX 및 JSON 형식의 데이터를 내보낼낸 후 API나 웹 훅을 통해서 데이터를 가져올 수 있습니다.
Web Scraper Cloud
클라우드 서비스 제공
웹 스크래퍼 클라우드 서비스는 스케쥴러 기능이나 프록시나 API 기능을 제공하기 때문에 이용하는 경우가 많습니다. 자료를 수집한 후 직접 데이터를 활용해야 하는 경우에 사용할 수 있는 API 서비스를 제공하고, 외부 서버 차단을 막기 위한 Proxy 서비스도 제공하고 있습니다. 그리고 스케쥴러 기능을 통해 예약 크롤링을 할 수 있습니다.
유료 플랜
무료로 크롬 익스텐션 서비스로 이용할 수 있지만 다양한 유료 플랜을 제공하고 있습니다. 클라우드 서버를 이용하기 위해서 주로 사용하는데 한 달에 100달러 플랜인 프로페셔널 플랜을 선택하게 될 경우 20,000 클라우드 크레딧을 받고 3개의 병렬 작업, CSV, XLSX, JSON 추출, 스케쥴러, 프록시, API, 드랍박스 이용 등의 다양한 서비스를 사용할 수 있습니다. 또한 무료 사용할 수 있는 기간을 주기 때문에 Free Trial 서비스를 활용 해 보시는 것도 좋습니다.
FAQ
웹에서 손쉽게 몇 번의 클릭과 입력 만으로도 스크래핑을 할 수 있는 크롬 확장 프로그램 데이터 추출 도구 Web Scraper를 이용 해 보세요. 크롤링 하고자 하는 사이트를 탐색하고 데이터를 추출하는 기능을 가지고 있습니다.
파이썬을 이용한 크롤링에서 Selenium과 bs4를 이용할 때 메타 데이터를 가져오는 작업이 쉽지 않을 경우에 Web Scraper를 활용 해 보세요. 포인트 앤 클릭 인터페이스를 제공하기 때문에 메타 데이터 추출에 용이합니다.
크롬 확장 프로그램으로 개인 작업을 할 경우 무료로 충분히 사용이 가능합니다. 다만, 클라우드 서비스를 활용한 유료 서비스는 다중 동시 작업과 API 기능과 스케쥴러, Dropbox 등의 서비스를 이용할 수 있습니다.
