Crawlee 3 प्रॉक्सी URL को सत्र ID के साथ जोड़ता है
स्थिर मार्ग चयन के लिए Crawlee 3.14 के ProxyConfiguration सत्र आर्ग्युमेंट का उपयोग करें, और v4 माइग्रेशन दस्तावेज़ में बदले हुए स्वामित्व मॉडल को ध्यान में रखें।
Crawlee 3.14 में, ProxyConfiguration किसी सत्र पहचानकर्ता को चुने गए प्रॉक्सी URL के साथ जोड़ सकता है:
import { ProxyConfiguration } from 'crawlee';
const proxies = new ProxyConfiguration({
proxyUrls: [
'http://proxy-a.example:8080',
'http://proxy-b.example:8080',
],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');
HTTP प्रॉक्सी सूची proxyUrls के लिए सार्वजनिक उम्मीदवार देती है। उसी सत्र ID के साथ दोहराए गए कॉल उसका जोड़ा गया URL लौटाते हैं। सत्र ID के बिना, दी गई सूची बारी-बारी घूमती है। यह किसी कॉन्फ़िगर किए गए एंडपॉइंट का चयन करता है; एक URL के पीछे एग्ज़िट घुमाने वाली अपस्ट्रीम सेवा अब भी अपना एग्ज़िट व्यवहार नियंत्रित करती है।
क्रॉलर द्वारा प्रबंधित सत्रों के लिए, क्रॉलर का सत्र पूल और कुकी संरक्षण व्यवस्था उपयोग करें। maxConcurrency को एक पर लाना यह तय करने का विकल्प नहीं है कि कौन-सी अनुरोध एक ही सत्र के हैं।
सत्र को सेवानिवृत्त करना एक नई पहचान सीमा बनाता है। लॉगिन या बहु-चरणीय कार्रवाई के दौरान केवल एक फ़ील्ड घुमाने के बजाय उसका मार्ग, कुकी और कार्यभार स्थिति सुसंगत रखें।
मुख्य संस्करण मायने रखता है। Crawlee का v4 माइग्रेशन दस्तावेज़ newUrl से sessionId आर्ग्युमेंट हटाता है और प्रॉक्सी जोड़ने को Session स्वामित्व में ले जाता है। ऊपर का उदाहरण जानबूझकर v3 इंटरफ़ेस का उपयोग करता है; उस जीवनचक्र को अनुकूल किए बिना उसका आर्ग्युमेंट किसी दूसरे मुख्य संस्करण में न कॉपी करें।