Crawlee 3 ஒரு ப்ராக்ஸி URL-ஐ அமர்வு ID-யுடன் இணைக்கிறது

Crawlee 3.14-இல், ProxyConfiguration ஒரு அமர்வு அடையாளங்காட்டியைத் தேர்ந்தெடுத்த ப்ராக்ஸி URL-உடன் இணைக்க முடியும்:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

HTTP ப்ராக்ஸி பட்டியல் proxyUrls-க்கு பொதுப் போட்டியாளர்களை வழங்குகிறது. அதே அமர்வு ID-உடன் மீண்டும் மீண்டும் அழைப்பது அதனுடன் இணைக்கப்பட்ட URL-ஐத் திருப்பித் தரும். அமர்வு ID இல்லாவிட்டால், வழங்கப்பட்ட பட்டியல் சுழற்சியாக மாறும். இது ஒரு கட்டமைக்கப்பட்ட முனையத்தைத் தேர்ந்தெடுக்கிறது; ஒரு URL-க்குப் பின்னால் வெளியேற்றங்களைச் சுழற்றும் மேல்நிலைச் சேவை தனது சொந்த வெளியேற்ற நடத்தையை இன்னும் கட்டுப்படுத்துகிறது.

க்ராலர் நிர்வகிக்கும் அமர்வுகளுக்கு, க்ராலரின் அமர்வுக் குளம் மற்றும் குக்கி சேமிப்பு ஏற்பாட்டைப் பயன்படுத்துங்கள். maxConcurrency-ஐ ஒன்றாகக் குறைப்பது எந்தக் கோரிக்கைகள் ஒரே அமர்வைச் சேர்ந்தவை என்பதை வரையறுப்பதற்கு மாற்றல்ல.

ஒரு அமர்வை ஓய்வு பெறச் செய்வது புதிய அடையாள எல்லையை உருவாக்குகிறது. உள்நுழைவு அல்லது பல-படி செயல்பாட்டின் போது ஒரு புலத்தை மட்டும் சுழற்றுவதற்குப் பதிலாக அதன் பாதை, குக்கிகள் மற்றும் பணிச்சுமை நிலையை ஒத்திசைவாக வைத்திருங்கள்.

முதன்மை பதிப்பு முக்கியம். Crawlee-இன் v4 இடம்பெயர்வு ஆவணம் newUrl-இலிருந்து sessionId அளவுருவை நீக்கி, ப்ராக்ஸி இணைப்பை Session உரிமைக்கு நகர்த்துகிறது. மேலே உள்ள எடுத்துக்காட்டு வேண்டுமென்றே v3 இடைமுகத்தைப் பயன்படுத்துகிறது; அந்த வாழ்க்கைச் சுழற்சியைத் தழுவாமல் அதன் அளவுருவை வேறு முதன்மை பதிப்புக்கு நகலெடுக்க வேண்டாம்.