Scrapy - Ambiente

In questo capitolo, discuteremo come installare e configurare Scrapy. Scrapy deve essere installato con Python.

Scrapy può essere installato utilizzando pip. Per installare, eseguire il seguente comando:

pip install Scrapy

finestre

Note - Python 3 non è supportato sul sistema operativo Windows.

Step 1- Installa Python 2.7 da Python

Imposta le variabili ambientali aggiungendo i seguenti percorsi al PERCORSO:

C:\Python27\;C:\Python27\Scripts\;

Puoi controllare la versione di Python usando il seguente comando:

python --version

Step 2- Installa OpenSSL .

Aggiungi C: \ OpenSSL-Win32 \ bin nelle tue variabili ambientali.

Note - OpenSSL è preinstallato in tutti i sistemi operativi tranne Windows.

Step 3- Installa i ridistribuibili di Visual C ++ 2008 .

Step 4- Installa pywin32 .

Step 5- Installa pip per le versioni di Python precedenti alla 2.7.9.

Puoi controllare la versione pip usando il seguente comando:

pip --version

Step 6 - Per installare scrapy, esegui il seguente comando:

pip install Scrapy

Anaconda

Se hai installato anaconda o miniconda sulla tua macchina, esegui il comando seguente per installare Scrapy usando conda -

conda install -c scrapinghub scrapy

La società Scrapinghub supporta i pacchetti conda ufficiali per Linux, Windows e OS X.

Note - Si consiglia di installare Scrapy utilizzando il comando precedente se si riscontrano problemi con l'installazione tramite pip.

Ubuntu 9.10 o versioni successive

L'ultima versione di Python è preinstallata sul sistema operativo Ubuntu. Usa i pacchetti di Ubuntu aptgatable forniti da Scrapinghub. Per utilizzare i pacchetti -

Step 1 - È necessario importare la chiave GPG utilizzata per firmare i pacchetti Scrapy nel portachiavi APT -

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7

Step 2 - Successivamente, usa il seguente comando per creare il file /etc/apt/sources.list.d/scrapy.list -

echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee 
/etc/apt/sources.list.d/scrapy.list

Step 3 - Aggiorna l'elenco dei pacchetti e installa scrapy -

sudo apt-get update && sudo apt-get install scrapy

Archlinux

Puoi installare Scrapy dal pacchetto AUR Scrapy utilizzando il seguente comando:

yaourt -S scrapy

Mac OS X

Utilizzare il seguente comando per installare gli strumenti della riga di comando di Xcode:

xcode-select --install

Invece di usare il sistema Python, installa una nuova versione aggiornata che non sia in conflitto con il resto del tuo sistema.

Step 1- Installa homebrew .

Step 2 - Imposta la variabile PATH ambientale per specificare che i pacchetti homebrew devono essere usati prima dei pacchetti di sistema -

echo "export PATH = /usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc

Step 3 - Per assicurarti che le modifiche siano state apportate, ricarica .bashrc utilizzando il seguente comando:

source ~/.bashrc

Step 4 - Successivamente, installa Python usando il seguente comando -

brew install python

Step 5 - Installa Scrapy utilizzando il seguente comando -

pip install Scrapy