Scrapy proxy parametrlərini CrawlerProcess skriptinə yükləyin

Hörümçək scrapy crawl altında gözlənilən proxydən istifadə edə bilər, Python skripti ilə işə salındıqda isə birbaşa gedir. Proxy serverini dəyişməzdən əvvəl həmin skriptin parametrlərini necə qurduğunu yoxlayın.

Mövcud Scrapy layihəsi və onun qeydiyyatdan keçmiş hörümçəyi üçün:

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

settings = get_project_settings()
process = CrawlerProcess(settings=settings)
process.crawl('catalog')
process.start()

catalog yerinə layihənin hörümçək adını yazın. Layihə scrapy.cfg vasitəsilə və ya idxal edilə bilən parametrlər moduluna işarə edən düzgün qurulmuş SCRAPY_SETTINGS_MODULE vasitəsilə tapılmalıdır.

Tək CrawlerProcess() qurmaq, skript hörümçək sinfini də idxal etdiyi üçün layihənin parametrlər faylını idxal etmir. Nəticədə DOWNLOADER_MIDDLEWARES tərəfindən aktivləşdirilən fərdi ara proqram həmin işə salınmada olmaya bilər.

Parametrlərin yüklənməsi konfiqurasiya edilmiş komponentləri təmin edir; proxy ünvanı uydurmur. Scrapy-nin HTTP proxy ara proqramı hələ də adi mühit proxysinə və ya açıq request.meta['proxy'] dəyərinə ehtiyac duyur. HTTPPROXY_ENABLED parametrinin onu söndürmədiyini yoxlayın. İcazə verilmiş ictimai səhifə taraması üçün HTTP proxy siyahısı həmin metadata və ya mühit vasitəsilə verilən HTTP proxy dəyəri üçün namizədlər təqdim edir.

Başladıcının yüklədiyi parametrləri və aktiv ara proqramı əmr sətri ilə işə salınma ilə müqayisə edin. Uyğun gəlirsə, seçilmiş sorğunun proxy metadatası və faktiki nəqliyyat xətası ilə davam edin.