Crawlee 3-ը proxy URL-ը զուգակցում է սեսիայի ID-ի հետ

Crawlee 3.14-ում ProxyConfiguration-ը կարող է սեսիայի նույնացուցիչը զուգակցել ընտրված proxy URL-ի հետ՝

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

HTTP proxy-ների ցանկը proxyUrls-ի համար տրամադրում է հանրային թեկնածուներ։ Նույն սեսիայի ID-ով կրկնվող կանչերը վերադարձնում են դրա հետ զուգակցված URL-ը։ Առանց սեսիայի ID-ի՝ տրված ցանկը պտտվում է հերթով։ Սա ընտրում է կարգավորված վերջնակետ. մեկ URL-ի հետևում ելքերը պտտող վերին ծառայությունը դեռևս վերահսկում է իր իսկ ելքի վարքը։

Crawler-ի կողմից կառավարվող սեսիաների համար օգտագործեք crawler-ի սեսիաների լողավազանը և cookie-ների պահպանման կարգը։ maxConcurrency-ն մեկի իջեցնելը չի փոխարինում այն սահմանմանը, թե որ հարցումներն են պատկանում նույն սեսիային։

Սեսիան դուրս բերելը ստեղծում է ինքնության նոր սահման։ Պահեք դրա երթուղին, cookie-ները և աշխատանքային ծանրաբեռնվածության վիճակը համահունչ՝ մուտք գործելու կամ բազմաքայլ գործողության ընթացքում միայն մեկ դաշտ պտտելու փոխարեն։

Հիմնական տարբերակը կարևոր է։ Crawlee-ի v4 միգրացիայի փաստաթուղթը հեռացնում է sessionId արգումենտը newUrl-ից և proxy-ի զուգակցումը տեղափոխում է Session-ի սեփականություն։ Վերևի օրինակը միտումնավոր օգտագործում է v3 ինտերֆեյսը. մի պատճենեք դրա արգումենտը այլ հիմնական տարբերակի մեջ՝ առանց այդ կենսացիկլը հարմարեցնելու։