የScrapy ፕሮክሲ ቅንብሮችን ወደ CrawlerProcess ስክሪፕት ጫን

ሸረሪት በscrapy crawl ስር የሚጠበቀውን ፕሮክሲ ሊጠቀም ይችላል፣ በPython ስክሪፕት ሲነሳ ግን በቀጥታ ይሄዳል። የፕሮክሲ ሰርቨሩን ከመቀየርህ በፊት ስክሪፕቱ ቅንብሮቹን እንዴት እንደሚገነባ ተመልከት።

ለነባር የScrapy ፕሮጀክት እና ለተመዘገበው ሸረሪቱ፦

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

settings = get_project_settings()
process = CrawlerProcess(settings=settings)
process.crawl('catalog')
process.start()

catalog ን በፕሮጀክቱ ሸረሪት ስም ተካ። ፕሮጀክቱ በscrapy.cfg ወይም ሊገባ ወደሚችል የቅንብር ሞጁል በሚያመራ በትክክል በተዘጋጀ SCRAPY_SETTINGS_MODULE በኩል መታወቅ አለበት።

CrawlerProcess() ብቻ መገንባት ስክሪፕቱ የሸረሪት ክላስ ስለሚያስገባ ብቻ የፕሮጀክቱን የቅንብር ፋይል አያስገባም። በዚህ ምክንያት በDOWNLOADER_MIDDLEWARES የነቃ ብጁ ሚድልዌር በዚያ ሩጫ ላይ ላይገኝ ይችላል።

ቅንብሮቹን መጫን የተዋቀሩትን ክፍሎች ያቀርባል፤ የፕሮክሲ አድራሻ ግን አይፈጥርም። የScrapy የHTTP ፕሮክሲ ሚድልዌር አሁንም የተለመደውን የአካባቢ ፕሮክሲ ወይም ግልጽ request.meta['proxy'] እሴት ይፈልጋል። HTTPPROXY_ENABLED እንዳላሰናከለው አረጋግጥ። ለተፈቀደ የህዝብ ገጽ ስንብት የHTTP ፕሮክሲ ዝርዝር በዚያ ሜታዳታ ወይም አካባቢ የሚቀርብ የHTTP ፕሮክሲ እሴት እጩዎችን ይሰጣል።

የአስነሺውን የተጫኑ ቅንብሮች እና ንቁ ሚድልዌር ከትዕዛዝ መስመር ሩጫ ጋር አወዳድር። ከተመሳሰሉ በተመረጠው ጥያቄ ፕሮክሲ ሜታዳታ እና በእውነተኛው የትራንስፖርት ስህተት ቀጥል።