Scrapy shell ichida yuklab oluvchi bajarishini xohlagan so'rovni tuzing:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware proksi qiymatini o'sha Request metadatasidan o'qiydi. U faol yuklab oluvchi middleware konfiguratsiyasida yoqilgan bo'lishi kerak. Keyingi response o'zgaruvchisi shu so'rovga tegishli. Ushbu ommaviy URL uchun, agar ommaviy vositachilarga ruxsat berilgan bo'lsa, HTTP proksilar ro'yxatidan autentifikatsiyasiz HTTP manzilini tanlang, so'ngra uning URL'ini o'sha so'rovning proksi metadatasiga joylashtiring.

Shellni Scrapy loyihasidan ishga tushirish unga o'sha loyiha konfiguratsiyasini yuklash imkonini beradi. Bu middleware va boshqa sozlamalarni tanlaydi; u o'zi muayyan proksi oxirgi nuqtasini tanlamaydi. Yuqoridagi so'rov metadatasi bu tanlovni bevosita taqdim etadi.

Basic hisob ma'lumotlaridan foydalanadigan proksi uchun Scrapy foydalanuvchi ma'lumotlarini proksi URL'ida hujjatlashtiradi. Uni qurishdan oldin hisob qismlaridagi zaxiralangan belgilarni kodlang. O'sha hisob uchun veb-saytning Authorization sarlavhasini qo'shish shart emas.

Scrapy shuningdek qo'llab-quvvatlanadigan muhit o'zgaruvchilaridan proksilarni topa oladi. So'rovning aniq proksi metadatasi ustuvorlikka ega. Ataylab to'g'ridan-to'g'ri so'rov uchun None proksi qiymati o'sha middlewarening muhitga asoslangan tanlovini so'rov uchun o'chiradi.

O'xshash maqolalar