พร็อกซีสำหรับการดึงข้อมูลหนึ่งครั้งใน Scrapy shell

ภายใน Scrapy shell ให้สร้างคำขอที่คุณต้องการให้ตัวดาวน์โหลดดำเนินการ:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware อ่านค่าพร็อกซีจากเมทาดาทาของ Request นั้น ต้อง เปิดใช้งานในการกำหนดค่ามิดเดิลแวร์ของตัวดาวน์โหลดที่ใช้งานอยู่ ตัวแปร response หลังจากนั้นเป็นของการดึงข้อมูลนี้ สำหรับ URL สาธารณะนี้ ให้เลือกที่อยู่ HTTP ที่ไม่มีการตรวจสอบสิทธิ์จาก รายการพร็อกซี HTTP หากอนุญาตให้ใช้ตัวกลางสาธารณะ จากนั้นใส่ URL ของที่อยู่นั้นในเมทาดาทาพร็อกซีของคำขอนั้น

การเริ่ม shell จากโปรเจกต์ Scrapy ช่วยให้โหลดการกำหนดค่าของโปรเจกต์นั้นได้ ซึ่งจะเลือกมิดเดิลแวร์และการตั้งค่าอื่น ๆ แต่ไม่ได้เลือกปลายทางพร็อกซีใดโดยเฉพาะด้วยตัวเอง เมทาดาทาคำขอข้างต้นให้ตัวเลือกนั้นโดยตรง

สำหรับพร็อกซีที่ใช้ข้อมูลรับรอง Basic Scrapy จะบันทึกข้อมูลผู้ใช้ใน URL พร็อกซี ให้เข้ารหัสอักขระที่สงวนไว้ในส่วนของบัญชีก่อนสร้าง URL ดังกล่าว ไม่จำเป็นต้องเพิ่มส่วนหัว Authorization ของเว็บไซต์สำหรับบัญชีนั้น

Scrapy ยังสามารถค้นหาพร็อกซีจากตัวแปรสภาพแวดล้อมที่รองรับได้ เมทาดาทาพร็อกซีที่ชัดเจนของคำขอจะมีความสำคัญกว่า สำหรับคำขอที่ตั้งใจให้เชื่อมต่อโดยตรง ค่าพร็อกซี None จะปิดการเลือกตามสภาพแวดล้อมของมิดเดิลแวร์นั้นสำหรับคำขอนั้น