Proksi setiap Permintaan dengan Middleware Proksi HTTP Scrapy

Gunakan metadata permintaan Scrapy dan middleware proksinya sebelum menyalin middleware pengesahan tersuai lama ke dalam crawler.

Middleware proksi HTTP Scrapy membaca proksi daripada metadata permintaan:

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

Gantikan titik akhir dokumentasi dan biarkan middleware diaktifkan. Senarai proksi HTTP menawarkan calon awam untuk URL permintaan ini. Ini memilih laluan permintaan; kumpulan proksi memerlukan logik pemilihan berasingan.

Pengesahan mengikut titik akhir yang dipilih

Middleware terbina dalam mengendalikan kelayakan yang dibekalkan melalui URL proksi yang disokong dan pengepala kebenaran yang berkaitan. Escape aksara URL yang dikhaskan dan elakkan merekod URL itu.

Middleware berasingan tidak sepatutnya mengekalkan pengepala Basic untuk proksi sebelumnya selepas titik akhir berubah. Biarkan satu lapisan mengurus laluan dan kelayakannya bersama-sama.

Susunan pemilihan dan lalai

Jika middleware pemuat turun tersuai memilih proksi, jalankannya sebelum middleware proksi terbina dalam memproses permintaan. Periksa susunan dan API keluaran yang dipasang; import scrapy.contrib yang lapuk milik keluaran lama.

Persekitaran proses juga boleh membekalkan lalai khusus skema. Untuk permintaan langsung yang disengajakan, gunakan tingkah laku khas metadata proxy yang didokumenkan: kunci yang tiada tidak semestinya bermakna akses langsung.

Periksa hasil sebenar. 407 berkaitan pengesahan proksi, manakala had kadar atau penafian akses tapak web boleh datang selepas laluan berfungsi dengan betul.

Artikel berkaitan