Pakia mipangilio ya proksi ya Scrapy ndani ya script ya CrawlerProcess

Buibui anaweza kutumia proksi inayotarajiwa chini ya scrapy crawl na kwenda moja kwa moja anapoanzishwa na script ya Python. Angalia jinsi script hiyo inavyounda mipangilio yake kabla ya kubadilisha seva ya proksi.

Kwa mradi uliopo wa Scrapy na buibui wake aliyesajiliwa:

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

settings = get_project_settings()
process = CrawlerProcess(settings=settings)
process.crawl('catalog')
process.start()

Badilisha catalog na jina la buibui la mradi. Mradi lazima uweze kupatikana kupitia scrapy.cfg yake, au kupitia SCRAPY_SETTINGS_MODULE iliyowekwa vizuri inayoelekeza kwenye moduli ya mipangilio inayoweza kuingizwa.

Kuunda CrawlerProcess() peke yake hakuingizi faili ya mipangilio ya mradi kwa sababu tu script pia inaingiza darasa la buibui. Hivyo middleware maalum iliyowezeshwa na DOWNLOADER_MIDDLEWARES inaweza kukosekana katika uendeshaji huo.

Kupakia mipangilio hutoa vipengele vilivyosanidiwa; haibuni anwani ya proksi. Middleware ya proksi ya HTTP ya Scrapy bado inahitaji proksi yake ya kawaida ya mazingira au thamani request.meta['proxy'] iliyo wazi. Angalia kwamba HTTPPROXY_ENABLED haijaizima. Kwa kutambaa kuruhusiwa kwa kurasa za umma, orodha ya proksi za HTTP hutoa wagombea wa thamani ya proksi ya HTTP inayotolewa kupitia metadata au mazingira hayo.

Linganisha mipangilio iliyopakiwa na middleware inayotumika ya kianzilishi na uendeshaji wa mstari wa amri. Ikiwa zinalingana, endelea na metadata ya proksi ya ombi lililochaguliwa na hitilafu halisi ya usafirishaji.