Το Crawlee 3 συνδυάζει ένα proxy URL με ένα αναγνωριστικό συνεδρίας

Χρησιμοποιήστε το όρισμα συνεδρίας του ProxyConfiguration στο Crawlee 3.14 για σταθερή επιλογή διαδρομής και λάβετε υπόψη το αλλαγμένο μοντέλο ιδιοκτησίας στην τεκμηρίωση μετεγκατάστασης στο v4.

Στο Crawlee 3.14, το ProxyConfiguration μπορεί να συνδυάσει ένα αναγνωριστικό συνεδρίας με ένα επιλεγμένο proxy URL:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

Η λίστα διακομιστών μεσολάβησης HTTP παρέχει δημόσιους υποψηφίους για το proxyUrls. Επαναλαμβανόμενες κλήσεις με το ίδιο αναγνωριστικό συνεδρίας επιστρέφουν το συνδυασμένο URL του. Χωρίς αναγνωριστικό συνεδρίας, η λίστα που δίνεται εναλλάσσεται κυκλικά. Αυτό επιλέγει ένα διαμορφωμένο τελικό σημείο· μια υπηρεσία ανάντη που εναλλάσσει εξόδους πίσω από ένα URL εξακολουθεί να ελέγχει τη δική της συμπεριφορά εξόδου.

Για συνεδρίες που διαχειρίζεται ο crawler, χρησιμοποιήστε τη δεξαμενή συνεδριών του crawler και τη διάταξη διατήρησης cookies. Η μείωση του maxConcurrency σε ένα δεν αντικαθιστά τον καθορισμό του ποια αιτήματα ανήκουν στην ίδια συνεδρία.

Η απόσυρση μιας συνεδρίας δημιουργεί ένα νέο όριο ταυτότητας. Διατηρήστε τη διαδρομή, τα cookies και την κατάσταση φόρτου εργασίας της συνεπή αντί να εναλλάσσετε μόνο ένα πεδίο κατά τη σύνδεση ή μια πολυβηματική λειτουργία.

Η κύρια έκδοση έχει σημασία. Η τεκμηρίωση μετεγκατάστασης του Crawlee στο v4 αφαιρεί το όρισμα sessionId από το newUrl και μεταφέρει τη σύζευξη proxy στην ιδιοκτησία Session. Το παραπάνω παράδειγμα χρησιμοποιεί σκόπιμα τη διεπαφή v3· μην αντιγράψετε το όρισμά του σε άλλη κύρια έκδοση χωρίς να προσαρμόσετε αυτόν τον κύκλο ζωής.

Σχετικά άρθρα