Scrapy proksi oraliq dasturi: Request va None qaytarish qiymatlari

Scrapy proksisini tayinlagandan so'ng boshqaruvni qaytaring; xuddi shu so'rovni yuklab olishdan oldin beixtiyor qayta rejalashtirmang.

Jurnalda proksi manzili o'zgaradi. Manzil proksining kirish jurnalida hech qachon ko'rinmaydi. Oraliq dasturingiz so'rovni yuklovchiga yetkazib berishini tekshiring.

Scrapy yuklovchisining oraliq dasturida Request qaytarish bu so'rovni qayta rejalashtirishni bildiradi. Bu «hozir o'zgartirgan metama'lumotlar bilan bu obyektni yuborishda davom et» degani emas.

Faqat marshrutni tanlaydigan selektor uchun muhim shakl quyidagicha:

def process_request(self, request):
    request.meta['proxy'] = self.choose_proxy()
    return None

Bu parcha joriy ilgak shaklini ko'rsatadi; o'rnatilgan Scrapy versiyasi qo'llab-quvvatlaydigan oraliq dastur interfeysidan foydalaning. Selektor haqiqiy yakuniy nuqtani qaytarishi va mavjud bo'lmagan hovuzni aniq boshqarishi kerak. Ommaviy vositachilarga ruxsat beruvchi ommaviy skanerlash o'sha qaytarish qiymati uchun HTTP proksi ro'yxatidan HTTP nomzodlarini olishi mumkin.

None qaytarish qolgan so'rov oraliq dasturi va yuklovchiga davom etish imkonini beradi. Boshqa Request qaytarish ishni ataylab almashtirganingizda yoki qayta urinib ko'rganingizda foydali, lekin sabab va chiqish sharti kerak.

Har safar bir xil so'rovni qaytaradigan rotator manzilga hech qachon ulanish o'rnatmasdan o'z tanlash kodini qayta-qayta ishga tushirishi mumkin. Taym-autlarni oshirish yoki qo'shimcha proksi portlarini ochish bu boshqaruv oqimi siklini tuzatmaydi.

Oraliq dasturga kirishni, qaytarish xatti-harakatini va birinchi haqiqiy tarmoq urinishini alohida hodisalar sifatida o'rganing. «Proksi tanlandi» degan jurnal satri faqat selektor ishlaganini isbotlaydi. Tanlangan yakuniy nuqta bilan so'rov yuborilganini isbotlamaydi.

O'xshash maqolalar