Scrapy shell дээр нэг татахад зориулсан прокси

Scrapy shell дотор татагч гүйцэтгэхийг хүсэж буй хүсэлтээ бүтээ:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware нь тухайн Request-ийн мета өгөгдлөөс прокси утгыг уншина. Энэ нь идэвхтэй татагчийн middleware тохиргоонд идэвхжсэн байх ёстой. Дараах response хувьсагч энэ татах үйлдэлд хамаарна. Энэ нийтийн URL-ийн хувьд нийтийн зуучлагчийг зөвшөөрвөл HTTP прокси жагсаалтаас баталгаажуулалтгүй HTTP хаяг сонгоод, түүний URL-ийг тухайн хүсэлтийн прокси мета өгөгдөлд байрлуулна.

Scrapy төслөөс shell эхлүүлснээр тэр төслийн тохиргоог ачаалах боломжтой болно. Энэ нь middleware болон бусад тохиргоог сонгодог; өөрөө тодорхой прокси төгсгөлийн цэгийг сонгодоггүй. Дээрх хүсэлтийн мета өгөгдөл тэр сонголтыг шууд өгдөг.

Basic итгэмжлэл ашигладаг прокси-д Scrapy хэрэглэгчийн мэдээллийг прокси URL-д баримтжуулдаг. Үүнийг бүтээхийн өмнө бүртгэлийн хэсгүүд дэх нөөцлөгдсөн тэмдэгтүүдийг кодчилно уу. Тэр бүртгэлд зориулж вэбсайтын Authorization толгой нэмэх шаардлагагүй.

Scrapy мөн дэмжигдсэн орчны хувьсагчдаас прокси илрүүлж чадна. Хүсэлтийн тодорхой прокси мета өгөгдөл давамгайлна. Зориуд шууд хүсэлтийн хувьд None прокси утга нь тэр middleware-ийн орчинд суурилсан сонголтыг хүсэлтэд идэвхгүй болгоно.