Ένα βάζο cookies του Scrapy ανήκει σε μια συνεδρία, όχι αυτόματα σε έναν διαμεσολαβητή

Η αλλαγή του διαμεσολαβητή δεν αλλάζει αυτόματα τα cookies της αράχνης. Αυτό μπορεί να είναι χρήσιμο για μία συνεχιζόμενη συνεδρία και απρόσμενο όταν πολλές ανεξάρτητες συνεδρίες μοιράζονται την ίδια αράχνη.

Το middleware cookies του Scrapy υποστηρίζει ξεχωριστά βάζα που επιλέγονται από τα μεταδεδομένα cookiejar του αιτήματος. Δώστε σε αυτό το κλειδί την ταυτότητα που πραγματικά θέλετε να διατηρήσετε:

yield scrapy.Request(
    'https://example.com/start',
    meta={'proxy': selected_proxy, 'cookiejar': 'workflow-17'},
)

Το τελικό σημείο και το κλειδί του βάζου είναι ανεξάρτητες επιλογές. Μια μη πιστοποιημένη δημόσια ανίχνευση μπορεί να πάρει το επιλεγμένο τελικό σημείο HTTP από τη λίστα διαμεσολαβητών HTTP όπου επιτρέπεται αυτή η διαδρομή· η ροή εργασίας εξακολουθεί να κατέχει το κλειδί του βάζου. Ένα επόμενο αίτημα που πρέπει να παραμείνει σε αυτή τη συνεδρία χρειάζεται το ίδιο κλειδί βάζου· τα μεταδεδομένα δεν κολλούν αυτόματα σε κάθε νέο αίτημα που δημιουργείτε. Μεταφέρετε τα συγκεκριμένα πεδία που απαιτεί η ροή εργασίας αντί να αντιγράφετε στα τυφλά όλα τα μεταδεδομένα του middleware.

Η χρήση της διεύθυνσης του διαμεσολαβητή ως κλειδιού βάζου είναι μόνο μία πολιτική

Αυτή η συντόμευση ομαδοποιεί την κατάσταση κατά τελικό σημείο. Δεν την ομαδοποιεί απαραίτητα κατά πρόσωπο, λογαριασμό ή δημόσια έξοδο. Ένα τελικό σημείο παρόχου μπορεί να εναλλάσσει εξόδους και πολλοί λογαριασμοί μπορούν να χρησιμοποιούν το ίδιο τελικό σημείο.

Για μια εξουσιοδοτημένη ροή εργασίας που χρειάζεται σταθερή κατάσταση, καταγράψτε χωριστά το αναγνωριστικό λογαριασμού/συνεδρίας, το αναγνωριστικό βάζου και τη διαδρομή που επιλέχτηκε. Αν αποφασίσετε να αλλάξετε τη διαδρομή στη μέση, αποφασίστε επίσης τι πρέπει να συμβεί στη συνεδρία της εφαρμογής.

Τα ξεχωριστά βάζα εμποδίζουν την τυχαία κοινή χρήση cookies μεταξύ των ομάδων που ορίσατε. Δεν υπόσχονται ότι ένας προορισμός δεν μπορεί να συνδέσει δύο αιτήματα μέσω λογαριασμού ή άλλων δεδομένων εφαρμογής.

Αν η λανθασμένη σελίδα παραμένει μετά την αλλαγή διευθύνσεων IP, εξετάστε ποιο βάζο έστειλε το αίτημα πριν διαγράψετε όλα τα cookies ή αντικαταστήσετε ολόκληρη τη δεξαμενή διαμεσολαβητών. Η διατηρούμενη κατάσταση μπορεί να εξηγήσει πλήρως τη σελίδα.