Scrapy - Primo ragno

Descrizione

Spider è una classe che definisce l'URL iniziale da cui estrarre i dati, come seguire i collegamenti di impaginazione e come estrarre e analizzare i campi definiti nel items.py. Scrapy fornisce diversi tipi di ragni ognuno dei quali ha uno scopo specifico.

Crea un file chiamato "first_spider.py"nella directory first_scrapy / spiders, dove possiamo dire a Scrapy come trovare i dati esatti che stiamo cercando. Per questo, è necessario definire alcuni attributi:

  • name - Definisce il nome univoco del ragno.

  • allowed_domains - Contiene gli URL di base per la scansione dello spider.

  • start-urls - Un elenco di URL da cui lo spider inizia a eseguire la scansione.

  • parse() - È un metodo che estrae e analizza i dati raschiati.

Il codice seguente mostra l'aspetto di un codice spider:

import scrapy  

class firstSpider(scrapy.Spider): 
   name = "first" 
   allowed_domains = ["dmoz.org"] 
   
   start_urls = [ 
      "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/", 
      "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/" 
   ]  
   def parse(self, response): 
      filename = response.url.split("/")[-2] + '.html' 
      with open(filename, 'wb') as f: 
         f.write(response.body)