스크래피 (웹 프레임워크)

위키백과, 우리 모두의 백과사전.
Scrapy
Scrapy logo.jpg
개발자Scrapinghub, Ltd.
발표일2008년 6월 26일 (2008-06-26)
안정화 버전
1.8.0 / 2019년 10월 28일 (22개월 전)(2019-10-28)[1]
저장소github.com/scrapy/scrapy
프로그래밍 언어Python
운영 체제Windows, macOS, 리눅스
종류웹 크롤러
라이선스BSD 허가서
웹사이트scrapy.org 위키데이터에서 편집하기

Scrapy(스크래피)(/ˈskrpi/ SKRAY-pee)[2]Python으로 작성된 오픈소스 웹 크롤링 프레임워크이다. 웹 데이터를 수집하는 것을 목표로 설계되었다. 또한 API를 이용하여 데이터를 추출할 수 있고, 범용 웹 크롤러로 사용될 수 있다.[3] Scrapy는 웹 스크래핑 개발 및 서비스 회사 Scrapinghub Ltd.에 의해 유지된다.

Scrapy 프로젝트는 "spiders" 를 중심으로 개발되었다. "spiders"는 여러 기능이 내장된 크롤러이다. 장고와 같은 철학인 중복배제를 따르고 있는 프레임워크이다.[4] Scrapy는 개발자들이 코드 재사용성을 높일 수 있도록 도와주어, 큰 규모의 크롤링 프로젝트 개발을 쉽게 할 수 있도록 해준다. 또한 Scrapy는 개발자들이 크롤링하려는 사이트의 동작을 테스트할 수 있도록 웹 크롤링 쉘을 제공한다.[5]

Scrapy는 Lyst,[6][7] Parse.ly,[8] Sayone Technologies[9], Sciences Po Medialab,[10] Data.gov.uk’s World Government Data site.[11][1] Archived 2018년 8월 16일 - 웨이백 머신 등등의 기업에서 사용되고 있다.

각주[편집]

  1. “Release notes — Scrapy documentation”. 《doc.scrapy.org》 (영어). 2019년 11월 2일에 확인함. 
  2. How do you pronounce "Scrapy"?
  3. Scrapy at a glance.
  4. “Frequently Asked Questions”. 2015년 7월 28일에 확인함. 
  5. “Scrapy shell”. 2015년 7월 28일에 확인함. 
  6. Bell, Eddie; Heusser, Jonathan. “Scalable Scraping Using Machine Learning”. 2016년 10월 9일에 원본 문서에서 보존된 문서. 2015년 7월 28일에 확인함. 
  7. Scrapy | Companies using Scrapy
  8. Montalenti, Andrew. “Web Crawling & Metadata Extraction in Python”. 
  9. “Scrapy Companies”. 《Scrapy website》. 
  10. Hyphe v0.0.0: the first release of our new webcrawler is out!
  11. Ben Firshman [bfirsh] (2010년 1월 21일). “World Govt Data site uses Django, Solr, Haystack, Scrapy and other exciting buzzwords bit.ly/5jU3La #opendata #datastore” (트윗).