Carrega la configuració de proxy de Scrapy en un script CrawlerProcess

Una aranya pot usar el proxy esperat sota scrapy crawl i anar directament quan el llança un script de Python. Comprova com aquell script construeix la seva configuració abans de canviar el servidor proxy.

Per a un projecte Scrapy existent i la seva aranya registrada:

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

settings = get_project_settings()
process = CrawlerProcess(settings=settings)
process.crawl('catalog')
process.start()

Substitueix catalog pel nom de l'aranya del projecte. El projecte ha de ser descobrible mitjançant el seu scrapy.cfg, o mitjançant un SCRAPY_SETTINGS_MODULE ben definit que apunti a un mòdul de configuració importable.

Construir només CrawlerProcess() no importa el fitxer de configuració del projecte pel fet que el script també importi una classe d'aranya. Per tant, un middleware personalitzat habilitat per DOWNLOADER_MIDDLEWARES pot faltar en aquesta execució.

Carregar la configuració proporciona els components configurats; no inventa una adreça de proxy. El middleware de proxy HTTP de Scrapy encara necessita el seu proxy d'entorn habitual o un valor explícit de request.meta['proxy']. Comprova que HTTPPROXY_ENABLED no l'hagi desactivat. Per a un rastreig permès de pàgines públiques, la llista de proxys HTTP ofereix candidats per a un valor de proxy HTTP subministrat per aquestes metadades o per l'entorn.

Compara la configuració carregada i el middleware actiu del llançador amb l'execució per línia d'ordres. Si coincideixen, continua amb les metadades de proxy de la petició seleccionada i l'error de transport real.