פרוקסי לשליפה אחת ב-Scrapy shell

בתוך Scrapy shell, בנו את הבקשה שברצונכם שהמוריד יבצע:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware קורא את ערך הפרוקסי ממטא-הנתונים של אותו Request. הוא חייב להיות מופעל בתצורת ה-middleware הפעיל של המוריד. משתנה ה-response שאחריו שייך לשליפה הזו. עבור כתובת URL ציבורית זו, בחרו כתובת HTTP ללא אימות מרשימת פרוקסי ה-HTTP אם מתווכים ציבוריים מותרים, ואז הציבו את כתובת ה-URL שלה במטא-נתוני הפרוקסי של אותה בקשה.

הפעלת ה-shell מתוך פרויקט Scrapy מאפשרת לו לטעון את תצורת אותו פרויקט. זה בוחר middleware והגדרות אחרות; הוא אינו בוחר בעצמו נקודת קצה מסוימת של פרוקסי. מטא-נתוני הבקשה שלמעלה מספקים את הבחירה הזו ישירות.

עבור פרוקסי שמשתמש באישורי Basic, Scrapy מתעדת פרטי משתמש בכתובת ה-URL של הפרוקסי. קודדו תווים שמורים ברכיבי החשבון לפני בנייתה. אין צורך להוסיף כותרת Authorization של האתר עבור אותו חשבון.

Scrapy יכולה גם לגלות פרוקסי ממשתני הסביבה הנתמכים שלה. מטא-נתוני פרוקסי מפורשים של בקשה מקבלים עדיפות. עבור בקשה ישירה במכוון, ערך פרוקסי None משבית את הבחירה המבוססת על הסביבה של אותו middleware עבור הבקשה.