Bloklaydigan proksi hovuzi so'rovi Scrapy'ni to'xtatishi mumkin
Sinxron proksi hovuzi API chaqiruvini Scrapy'ning hodisalar sikli yo'lidan tashqarida saqlang va endpoint qidiruviga o'zining muvaffaqiyatsizlik siyosatini bering.
Krauler yetarlicha parallel so'rovlar sozlangan. Shunga qaramay u proksi hovuzidan boshqa manzil so'raganda to'xtaydi. Ko'proq proksi qo'shish bu to'xtashga ta'sir qilmaydi.
Keng tarqalgan middleware namunasi requests.get(pool_url) chaqiruvini process_request() ichida amalga oshiradi. Bu Scrapy'ning asinxron dvigateli bilan hamkorlik qilishi kerak bo'lgan yo'lda sinxron tarmoq operatsiyasi. Chaqiruv kutayotganda u xuddi shu hodisalar sikli oqimidagi aloqasiz ishni ushlab turishi mumkin.
Ishda ikkita so'rov bor
Bir so'rov hovuz xizmatidan endpoint oladi. Ikkinchisi bu endpointdan manzil bilan bog'lanish uchun foydalanadi. Ularni alohida o'lchang va hisobot bering. Sekin hovuz API ilova ulanishidan oldin ham har bir tanlangan proksini sekin ko'rsatishi mumkin.
O'rnatilgan Scrapy versiyasi qo'llab-quvvatlaydigan asinxron qidiruv integratsiyasidan foydalaning yoki har bir so'rovning muhim yo'lidan tashqarida cheklangan mahalliy endpoint to'plamini oling va yangilang. Agar bloklaydigan ishni ko'chirish kerak bo'lsa, o'sha ijrochiga o'z chegaralari va taymaut ishlovini bering; cheksiz navbat faqat kechikish joyini o'zgartiradi.
Har bir so'rov uchun avtomatik ravishda yana bir qidiruv chaqiruvi chiqarmang. Qisqa muddatli kesh yoki ijaraga olingan to'plam xizmatning haqiqiy endpoint siyosatiga mos kelsa, hovuz xizmatiga bog'liqlikni kamaytirishi mumkin.
Muvaffaqiyatsiz qidiruv nimani anglatishini belgilang
Bo'sh yoki muvaffaqiyatsiz hovuz javobi proksi metama'lumotlarini jimgina olib tashlab, to'g'ridan-to'g'ri so'rovga ruxsat bermasligi kerak. Aniq natijani tanlang: vazifa byudjeti ichida kutish, muvaffaqiyatsizlik yoki tasdiqlangan keshlangan endpointdan foydalanish.
Hovuz API'ning o'z yo'lini ham ochiq tuting. Agar u ichki xizmat bo'lsa, uning shaxsiy xost nomini uni tanlashga yordam beradigan proksi orqali yuborish aylanma bog'liqlik yaratishi mumkin.
Qidiruv aloqasiz ishni bloklamasdan ishlagach, oddiy proksi tranzaksiyasini ko'rib chiqing. Bular alohida tuzatishlar va ularning vaqti jurnalda alohida maydonlarga loyiq.