ፕሮክሲውን ከScrapy የምስል ጥያቄዎች ጋር ማያያዝ
በImagesPipeline የተፈጠሩትን Requests ማስዋብ፣ የምስል ማውረዶች ፕሮክሲ እንዲያገኙ የፓይፕላይኑን የጥያቄ አመክንዮ ሳይገነቡ።
from scrapy.pipelines.images import ImagesPipeline
class ProxiedImagesPipeline(ImagesPipeline):
def get_media_requests(self, item, info):
for request in super().get_media_requests(item, info):
request.meta['proxy'] = 'http://proxy.example:8080'
yield request
ለScrapy 2.13.3፣ በITEM_PIPELINES ውስጥ ያለውን መደበኛውን ImagesPipeline መግቢያ በዚህ ንዑስ ክፍል የማስገቢያ መንገድ ይተኩ። IMAGES_STORE እና ሌሎች ቅንብሮችን ይያዙ።
ወላጁን መጥራት የተዋቀሰውን የምስል URL መስክ እና መልሶ ጥሪዎችን ይጠብቃል። ንዑስ ክፍሉ የሚጨምረው የጥያቄ መንገዱን ብቻ ነው፣ እሱም የነቃው HttpProxyMiddleware ይጠቀምበታል። እያንዳንዱ የምስል URL መዳረሻው ሆኖ ይቆያል። የፕሮክሲ ምስክርነት የሌላቸው አዲስ የህዝብ ምስል ጥያቄዎች መንገዱ ሲፈቀድ የHTTP ፕሮክሲ ዝርዝር ውስጥ ያለውን መግቢያ መጠቀም ይችላሉ።
የገጽ ጥያቄዎች የራሳቸውን ፖሊሲ ይይዛሉ። በአለምአቀፍ ፕሮክሲ አካባቢ፣ meta={'proxy': None} በዚህ ስሪት ውስጥ የተመረጠውን የገጽ ጥያቄ ቀጥታ ያደርገዋል።
ማውረድ በእውነት መውጣቱን ያረጋግጡ። የፓይፕላይን መሸጎጫ መመታት የአውታረ መረብ ጥያቄን ሊያስወግድ ይችላል። ለአዲስ ሽግግሮች የተጠናቀቁ ምስሎችን የውጤት መዝገቦች ከተጠየቁት URL ጋር ያወዳድሩ፦ ስኬታማ ስራዎች እዚያ ይታያሉ፣ ውድቀቶች ግን የመጀመሪያውን የምስል URL መስክ ተሞልቶ ሊያስቀሩ ይችላሉ። የጎደሉ ውጤቶችን በአውራጅ መዝገቦች እና በተመረጠው ፕሮክሲ በኩል ይከታተሉ።