Γιατί μπορεί να λείπει η κεφαλίδα εξόδου του ProxyMesh στο Scrapy

Η απουσία του X-ProxyMesh-IP σε callback HTTPS του Scrapy δεν αποδεικνύει άμεση δρομολόγηση. Σε HTTPS με σήραγγα, το ProxyMesh τοποθετεί κεφαλίδες δρομολόγησης στην απόκριση CONNECT· η μεταγενέστερη απόκριση του ιστότοπου βρίσκεται μέσα στο TLS και δεν περιλαμβάνει αυτόματα αυτά τα προηγούμενα μεταδεδομένα.

Όπου η κεφαλίδα εκτίθεται σε callback, διαβάστε την υπό συνθήκη:

exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
    self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))

Αυτή είναι η έξοδος που αναφέρει ο πάροχος για αυτή τη συναλλαγή, όχι το ρυθμισμένο όνομα κεντρικού υπολογιστή εισόδου.

Αν απαιτούνται μεταδεδομένα σήραγγας, χρησιμοποιήστε συμβατή ενσωμάτωση handler που εκθέτει κεφαλίδες CONNECT. Το ProxyMesh συντηρεί μία για αυτόν τον σκοπό· ελέγξτε την υποστηριζόμενη έκδοση Scrapy και τον handler λήψης. Η ανάλυση από την αράχνη δεν μπορεί να αποκαλύψει κεφαλίδες που ποτέ δεν παρείχε η μεταφορά.

Συνδέστε τα μεταδεδομένα με τη σύνδεσή τους. Η επαναχρησιμοποίηση σήραγγας δεν δημιουργεί άλλη απόκριση CONNECT για κάθε σελίδα. Για μια ανεξάρτητη διεύθυνση προέλευσης που παρατηρεί ο προορισμός, εξετάστε την εισερχόμενη σύνδεση αυτού του προορισμού αντί να θεωρείτε την κεφαλίδα παρόχου καθολικό ανιχνευτή IP.