Учитавање Scrapy прокси подешавања у CrawlerProcess скрипту
Проследите get_project_settings() у CrawlerProcess када самостални покретач треба да користи исти downloader middleware као scrapy crawl.
Паук може да користи очекивани прокси под scrapy crawl и иде директно када га покреће Python скрипта. Проверите како та скрипта гради своја подешавања пре него што промените прокси сервер.
За постојећи Scrapy пројекат и његовог регистрованог паука:
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
settings = get_project_settings()
process = CrawlerProcess(settings=settings)
process.crawl('catalog')
process.start()Замените catalog именом паука у пројекту. Пројекат мора бити пронађен кроз свој scrapy.cfg или кроз исправно постављен SCRAPY_SETTINGS_MODULE који указује на модул подешавања који се може увести.
Само стварање CrawlerProcess() не увози датотеку подешавања пројекта само зато што скрипта такође увози класу паука. Зато прилагођени middleware омогућен кроз DOWNLOADER_MIDDLEWARES може изостати из тог покретања.
Учитавање подешавања даје конфигурисане компоненте; оно не измишља прокси адресу. Scrapy HTTP прокси middleware и даље треба свој уобичајени прокси из окружења или експлицитну вредност request.meta['proxy']. Проверите да га HTTPPROXY_ENABLED није онемогућио. За дозвољено индексирање јавних страница листа HTTP проксија нуди кандидате за вредност HTTP проксија која се доставља кроз те метаподатке или окружење.
Упоредите учитана подешавања и активни middleware покретача са покретањем из командне линије. Ако се подударају, наставите са прокси метаподацима изабраног захтева и стварном транспортном грешком.