Scrapy HTTP proksi middleware bilan har bir so'rov uchun proksilar
Eski maxsus autentifikatsiya middleware-ni crawler-ga ko'chirishdan oldin Scrapy so'rov metadatasidan va uning proksi middleware-dan foydalaning.
Scrapy HTTP proksi middleware proksini so'rov metadatasidan o'qiydi:
yield scrapy.Request(
'https://example.com/',
callback=self.parse,
meta={'proxy': 'http://203.0.113.10:8080'},
)Hujjatdagi endpointni almashtiring va middleware-ni yoqilgan holda qoldiring. HTTP proksilar ro'yxati ushbu so'rov URL-i uchun ochiq nomzodlarni taklif qiladi. Bu so'rovning marshrutini tanlaydi; proksi hovuziga alohida tanlash mantiqi kerak.
Autentifikatsiya tanlangan endpoint-ga ergashadi
O'rnatilgan middleware qo'llab-quvvatlanadigan proksi URL va tegishli avtorizatsiya sarlavhasi orqali berilgan hisob ma'lumotlarini boshqaradi. Zahiralangan URL belgilarini escape qiling va bu URL-ni jurnalga yozishdan saqlaning.
Alohida middleware endpoint o'zgargandan keyin oldingi proksi uchun Basic sarlavhasini saqlamasligi kerak. Bitta qatlam marshrut va uning hisob ma'lumotlarini birga boshqarsin.
Tanlash tartibi va standart qiymatlar
Agar maxsus yuklovchi middleware proksini tanlasa, o'rnatilgan proksi middleware so'rovni qayta ishlashidan oldin uni ishga tushiring. O'rnatilgan versiyaning tartibi va API-ni tekshiring; eskirgan scrapy.contrib importlari eski versiyalarga tegishli.
Jarayon muhiti sxemaga xos standart qiymatlarni ham taqdim etishi mumkin. Ataylab to'g'ridan-to'g'ri so'rov uchun hujjatlashtirilgan maxsus proxy metadata xatti-harakatidan foydalaning: yo'q kalit har doim to'g'ridan-to'g'ri kirishni anglatmaydi.
Haqiqiy natijani tekshiring. 407 proksi autentifikatsiyasiga tegishli, veb-saytning tezlik chegarasi yoki kirishni rad etish esa marshrut to'g'ri ishlagandan keyin kelishi mumkin.