Proksi untuk satu pengambilan dalam Scrapy shell

Dalam Scrapy shell, bina permintaan yang anda mahu pemuat turun lakukan:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware membaca nilai proksi daripada metadata Request itu. Ia mesti didayakan dalam konfigurasi middleware pemuat turun yang aktif. Pemboleh ubah response selepas itu milik pengambilan ini. Untuk URL awam ini, pilih alamat HTTP tanpa pengesahan daripada senarai proksi HTTP jika perantara awam dibenarkan, kemudian letakkan URL-nya dalam metadata proksi permintaan itu.

Memulakan shell daripada projek Scrapy membolehkannya memuatkan konfigurasi projek itu. Itu memilih middleware dan tetapan lain; ia tidak memilih sendiri titik akhir proksi tertentu. Metadata permintaan di atas menyediakan pilihan itu secara langsung.

Untuk proksi yang menggunakan kelayakan Basic, Scrapy mendokumenkan maklumat pengguna dalam URL proksi. Kodkan aksara terpelihara dalam komponen akaun sebelum membinanya. Tidak perlu menambah pengepala Authorization tapak web untuk akaun itu.

Scrapy juga boleh menemui proksi daripada pemboleh ubah persekitaran yang disokongnya. Metadata proksi eksplisit sesuatu permintaan diutamakan. Untuk permintaan yang sengaja langsung, nilai proksi None menyahdayakan pemilihan berasaskan persekitaran middleware itu untuk permintaan tersebut.