Crawlee 3 သည် proxy URL ကို session ID နှင့် တွဲပေးသည်

Crawlee 3.14 တွင် ProxyConfiguration သည် session အမှတ်အသားကို ရွေးချယ်ထားသော proxy URL နှင့် တွဲပေးနိုင်သည်။

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

HTTP proxy စာရင်းသည် proxyUrls အတွက် အများသုံး ကိုယ်စားလှယ်လောင်းများ ပေးသည်။ တူညီသော session ID ဖြင့် ထပ်ခါတလဲလဲ ခေါ်ပါက ၎င်းနှင့် တွဲထားသော URL ကို ပြန်ပေးသည်။ session ID မရှိပါက ပေးထားသော စာရင်းသည် အလှည့်ကျ လှည့်ပတ်သည်။ ၎င်းသည် ဖွဲ့စည်းထားသော အဆုံးမှတ်ကို ရွေးချယ်သည်။ URL တစ်ခုနောက်တွင် ထွက်ပေါက်များ လှည့်ပတ်နေသော အထက်ပိုင်း ဝန်ဆောင်မှုသည် ၎င်း၏ ကိုယ်ပိုင် ထွက်ပေါက် အပြုအမူကို ဆက်လက် ထိန်းချုပ်သည်။

crawler က စီမံသော session များအတွက် crawler ၏ session pool နှင့် cookie သိမ်းဆည်းမှု အစီအစဉ်ကို အသုံးပြုပါ။ maxConcurrency ကို တစ်ခုသို့ လျှော့ချခြင်းသည် မည်သည့် တောင်းဆိုမှုများ တူညီသော session တွင် ပါဝင်သည်ကို သတ်မှတ်ခြင်း၏ အစားထိုး မဟုတ်ပါ။

session တစ်ခုကို ရုပ်သိမ်းခြင်းသည် အထောက်အထား နယ်နိမိတ်အသစ် တစ်ခု ဖန်တီးသည်။ လော့ဂ်အင် သို့မဟုတ် အဆင့်များစွာ လုပ်ဆောင်မှုအတွင်း အကွက်တစ်ခုတည်းကိုသာ လှည့်မည့်အစား ၎င်း၏ လမ်းကြောင်း၊ cookie များနှင့် အလုပ်ဝန်အခြေအနေကို ညီညွတ်စွာ ထိန်းထားပါ။

ပင်မ ဗားရှင်းသည် အရေးကြီးသည်။ Crawlee ၏ v4 ပြောင်းရွှေ့မှု စာရွက်စာတမ်းသည် newUrl မှ sessionId argument ကို ဖယ်ရှားပြီး proxy တွဲပေးမှုကို Session ပိုင်ဆိုင်မှုသို့ ရွှေ့သည်။ အထက်ပါ ဥပမာသည် v3 interface ကို တမင်အသုံးပြုထားသည်။ ထို ဘဝစက်ဝန်းကို မကိုက်ညီအောင် ပြင်ဆင်ဘဲ ၎င်း၏ argument ကို အခြား ပင်မ ဗားရှင်းသို့ ကူးယူမနေပါနှင့်။