Scrapy ၏ ပုံတောင်းဆိုချက်များတွင် proxy ကို ချိတ်ဆက်ပါ

from scrapy.pipelines.images import ImagesPipeline

class ProxiedImagesPipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        for request in super().get_media_requests(item, info):
            request.meta['proxy'] = 'http://proxy.example:8080'
            yield request

Scrapy 2.13.3 အတွက် ITEM_PIPELINES ရှိ ပုံမှန် ImagesPipeline အချက်အလက်ကို ဤ ခွဲအမျိုးအစား၏ import လမ်းကြောင်းဖြင့် အစားထိုးပါ။ IMAGES_STORE နှင့် အခြား ဆက်တင်များကို ထိန်းသိမ်းပါ။

မိခင်အား ခေါ်ခြင်းက ၎င်း၏ သတ်မှတ်ထားသော ပုံ-URL အကွက်နှင့် ပြန်ခေါ်မှုများကို ထိန်းသိမ်းသည်။ ခွဲအမျိုးအစားက တောင်းဆိုချက်လမ်းကြောင်းကိုသာ ထပ်တိုးပြီး ၎င်းကို ဖွင့်ထားသော HttpProxyMiddleware က အသုံးပြုသည်။ ပုံ URL တစ်ခုစီသည် ၎င်း၏ ဦးတည်ရာအဖြစ် ကျန်ရှိသည်။ proxy အထောက်အထား မရှိသော အများပြည်သူပုံ တောင်းဆိုချက်အသစ်များသည် ထိုလမ်းကြောင်း ခွင့်ပြုပါက HTTP proxy စာရင်းမှ အချက်တစ်ခုကို အသုံးပြုနိုင်သည်။

စာမျက်နှာ တောင်းဆိုချက်များသည် မိမိတို့၏ မူဝါဒကို ထိန်းသိမ်းသည်။ ကမ္ဘာလုံးဆိုင်ရာ proxy ပတ်ဝန်းကျင်တွင် ဤထုတ်ဝေမှုတွင် meta={'proxy': None} က ရွေးချယ်ထားသော စာမျက်နှာ တောင်းဆိုချက်ကို တိုက်ရိုက်ဖြစ်စေသည်။

ဒေါင်းလုဒ် အမှန်တကယ် ထွက်ခဲ့ခြင်း ရှိ/မရှိ စစ်ဆေးပါ။ pipeline cache ထိမှန်ခြင်းက ကွန်ရက်တောင်းဆိုချက်ကို ရှောင်နိုင်သည်။ ပို့ဆောင်မှုအသစ်များအတွက် ပြီးစီးသော ပုံရလဒ် အချက်များကို တောင်းဆိုထားသော URL များနှင့် နှိုင်းယှဉ်ပါ။ အောင်မြင်သော လုပ်ဆောင်ချက်များ ထိုတွင် ပေါ်လာပြီး မအောင်မြင်မှုများက မူရင်း ပုံ-URL အကွက်ကို ပြည့်နေစေနိုင်သည်။ ပျောက်ဆုံးနေသော ရလဒ်များကို ဒေါင်းလုဒ်ဆွဲသူ လော့ဂ်များနှင့် ရွေးချယ်ထားသော proxy မှတစ်ဆင့် ခြေရာခံပါ။