שתי הגדרות יכולות להשבית את ה-proxy middleware של Scrapy

בדקו את רשימת ה-downloader middleware הממוזגת ואת HTTPPROXY_ENABLED לפני הוספת עותק נוסף של ה-proxy middleware המובנה של Scrapy.

HttpProxyMiddleware שייך לברירות המחדל המובנות של ההורדה ב-Scrapy. אין צורך שהוא יופיע במילון ה-DOWNLOADER_MIDDLEWARES של הפרויקט כדי להיות זמין.

יש שתי בקרות נפרדות לבדוק:

  • HTTPPROXY_ENABLED קובע אם הרכיב המובנה מופעל.
  • ערך None עבור נתיב המחלקה שלו ב-DOWNLOADER_MIDDLEWARES מסיר אותו משרשרת ה-middleware הממוזגת.

לדוגמה, זה משבית במפורש את הרשומה המובנית:

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
}

הסירו את העקיפה הזו כשהרכיב המובנה אמור לחזור. אל תעתיקו טבלת DOWNLOADER_MIDDLEWARES_BASE ישנה לפרויקט רק כדי לשחזר רשומה אחת; Scrapy משלב את ברירות המחדל שלו עם העקיפות של הפרויקט.

middleware מופעל עדיין זקוק למסלול, מערכי סביבה נתמכים או ממטא-נתוני ה-proxy של הבקשה. נוכחותו ביומן אתחול אינה כשלעצמה הקצאת בקשה.

גרסאות Scrapy עתיקות מאוד נבדלו בשאלה מתי הרכיב נטען בלי ערכי סביבת proxy. שמרו את הגרסה המותקנת לצד האבחון, במקום להתייחס לתצפית היסטורית מתקופת 1.3 כאל כלל ההפעלה הנוכחי.

מאמרים קשורים