מדוע ייתכן שכותרת היציאה של ProxyMesh חסרה ב-Scrapy

היעדר X-ProxyMesh-IP בקריאת HTTPS של Scrapy אינו מוכיח ניתוב ישיר. ב-HTTPS מנותב, ProxyMesh מציב כותרות ניתוב בתגובת CONNECT; תגובת האתר המאוחרת נמצאת בתוך TLS ואינה כוללת אוטומטית את המטא-נתונים המוקדמים ההם.

היכן שהכותרת נחשפת בקריאה, קראו אותה באופן מותנה:

exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
    self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))

זו היציאה שדווחה על ידי הספק עבור אותו חילוף, ולא שם המארח הנכנס המוגדר.

אם נדרשים מטא-נתוני מנהרה, השתמשו באינטגרציית מטפל תואמת שחושפת כותרות CONNECT. ProxyMesh מתחזק אחת בדיוק לשם כך; בדקו את גרסת Scrapy הנתמכת ואת מטפל ההורדה. ניתוח העכביש אינו יכול לחשוף כותרות שהתעבורה מעולם לא סיפקה.

שייכו מטא-נתונים לחיבור שלהם. שימוש חוזר במנהרה אינו יוצר תגובת CONNECT נוספת לכל עמוד. לקבלת כתובת מקור עצמאית שנצפית על ידי היעד, בדקו את החיבור הנכנס של אותו יעד במקום להתייחס לכותרת הספק כאל גלאי IP אוניברסלי.