Ngarkimi i cilësimeve të proxy-t të Scrapy në një skript CrawlerProcess

Një merimangë mund të përdorë proxy-n e pritur nën scrapy crawl dhe shkon drejtpërdrejt kur niset nga një skript Python. Kontrolloni si e ndërton ai skript cilësimet e tij përpara se të ndryshoni serverin proxy.

Për një projekt Scrapy ekzistues dhe merimangën e tij të regjistruar:

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

settings = get_project_settings()
process = CrawlerProcess(settings=settings)
process.crawl('catalog')
process.start()

Zëvendësoni catalog me emrin e merimangës së projektit. Projekti duhet të zbulohet përmes scrapy.cfg të tij, ose përmes një SCRAPY_SETTINGS_MODULE të vendosur saktë që tregon një modul cilësimesh të importueshëm.

Ndërtimi vetëm i CrawlerProcess() nuk importon skedarin e cilësimeve të projektit vetëm sepse skripti importon gjithashtu një klasë merimange. Për rrjedhojë, një middleware i personalizuar i aktivizuar nga DOWNLOADER_MIDDLEWARES mund të mungojë në atë ekzekutim.

Ngarkimi i cilësimeve furnizon komponentët e konfiguruar; nuk shpik një adresë proxy. Middleware-i i proxy-t HTTP i Scrapy ka ende nevojë për proxy-n e zakonshme të mjedisit ose për një vlerë request.meta['proxy'] të qartë. Kontrolloni që HTTPPROXY_ENABLED nuk e ka çaktivizuar. Për një zvarritje të lejuar të faqeve publike, lista e proxy-ve HTTP ofron kandidatë për një vlerë proxy HTTP të furnizuar përmes atyre metadatave ose mjedisit.

Krahasoni cilësimet e ngarkuara dhe middleware-in aktiv të nisësit me ekzekutimin nga rreshti i komandës. Nëse përputhen, vazhdoni me metadata-t e proxy-t të kërkesës së zgjedhur dhe gabimin aktual të transportit.