Crawlee 3.14 da ProxyConfiguration sessiya identifikatorini tanlangan proksi URL bilan juftlashi mumkin:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

HTTP proksi ro‘yxati proxyUrls uchun ommaviy nomzodlarni taqdim etadi. Bir xil sessiya ID bilan takroriy chaqiruvlar u bilan juftlangan URLni qaytaradi. Sessiya ID bo‘lmasa, berilgan ro‘yxat navbat bilan almashinadi. Bu sozlangan oxirgi nuqtani tanlaydi; bitta URL ortida chiqishlarni aylantiruvchi yuqori oqim xizmati baribir o‘zining chiqish xatti-harakatini boshqaradi.

Crawler boshqaradigan sessiyalar uchun crawler sessiya hovuzi va cookie saqlash tartibidan foydalaning. maxConcurrencyni bittaga tushirish qaysi so‘rovlar bir sessiyaga tegishli ekanini belgilash o‘rnini bosmaydi.

Sessiyani iste’foga chiqarish yangi identifikatsiya chegarasini yaratadi. Kirish yoki ko‘p bosqichli amal davomida faqat bitta maydonni aylantirish o‘rniga uning marshruti, cookie va ish yuklamasi holatini mos holda saqlang.

Asosiy versiya muhim. Crawlee ning v4 migratsiya hujjati sessionId argumentini newUrl dan olib tashlaydi va proksi juftlashni Session egaligiga o‘tkazadi. Yuqoridagi misol v3 interfeysini ataylab ishlatadi; o‘sha hayot tsiklini moslashtirmasdan uning argumentini boshqa asosiy versiyaga ko‘chirmang.

O'xshash maqolalar