I-load ang mga setting ng proxy ng Scrapy sa isang script na CrawlerProcess

Maaaring gamitin ng gagamba ang inaasahang proxy sa ilalim ng scrapy crawl at dumiretso ito kapag inilunsad ng isang script na Python. Tingnan kung paano binubuo ng script na iyon ang mga setting nito bago baguhin ang proxy server.

Para sa umiiral na proyektong Scrapy at sa nakarehistrong gagamba nito:

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

settings = get_project_settings()
process = CrawlerProcess(settings=settings)
process.crawl('catalog')
process.start()

Palitan ang catalog ng pangalan ng gagamba ng proyekto. Dapat na matuklasan ang proyekto sa pamamagitan ng scrapy.cfg nito, o sa pamamagitan ng wastong nakatakdang SCRAPY_SETTINGS_MODULE na tumuturo sa isang module ng setting na maaaring i-import.

Ang pagbuo lamang ng CrawlerProcess() ay hindi nag-iimport ng file ng setting ng proyekto dahil lang nag-iimport din ang script ng isang klase ng gagamba. Kaya naman, ang custom na middleware na pinagana ng DOWNLOADER_MIDDLEWARES ay maaaring wala sa pagpapatakbong iyon.

Ang pag-load ng mga setting ay nagbibigay ng mga naka-configure na komponent; hindi ito nag-imbento ng isang address ng proxy. Ang HTTP proxy middleware ng Scrapy ay nangangailangan pa rin ng karaniwang proxy sa kapaligiran nito o ng tahasang halaga ng request.meta['proxy']. Tiyakin na hindi ito hindi pinagana ng HTTPPROXY_ENABLED. Para sa pinapayagang pag-crawl ng mga pampublikong pahina, ang listahan ng HTTP proxy ay nag-aalok ng mga kandidato para sa halaga ng HTTP proxy na ibinibigay sa pamamagitan ng metadata o kapaligirang iyon.

Ihambing ang mga na-load na setting at aktibong middleware ng launcher sa pagpapatakbo mula sa command line. Kung magkatugma ang mga ito, magpatuloy sa metadata ng proxy ng napiling kahilingan at sa aktwal na error sa transportasyon.