Crawlee 3 memasangkan URL proxy dengan ID sesi

Di Crawlee 3.14, ProxyConfiguration dapat memasangkan pengenal sesi dengan URL proxy yang dipilih:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

Daftar proxy HTTP menyediakan kandidat publik untuk proxyUrls. Panggilan berulang dengan ID sesi yang sama mengembalikan URL yang dipasangkan dengannya. Tanpa ID sesi, daftar yang diberikan berputar bergiliran. Ini memilih titik akhir yang dikonfigurasi; layanan hulu yang memutar jalan keluar di balik satu URL tetap mengendalikan perilaku keluarnya sendiri.

Untuk sesi yang dikelola crawler, gunakan kumpulan sesi crawler dan pengaturan penyimpanan cookie. Menurunkan maxConcurrency menjadi satu bukan pengganti untuk menentukan permintaan mana yang termasuk dalam sesi yang sama.

Menghentikan sesi menciptakan batas identitas baru. Jaga rute, cookie, dan status beban kerjanya tetap konsisten alih-alih hanya memutar satu bidang selama login atau operasi bertahap.

Versi mayor penting. Dokumentasi migrasi Crawlee ke v4 menghapus argumen sessionId dari newUrl dan memindahkan pemasangan proxy ke kepemilikan Session. Contoh di atas sengaja memakai antarmuka v3; jangan menyalin argumennya ke versi mayor lain tanpa menyesuaikan siklus hidup tersebut.