ພຣັອກຊີຕໍ່ຄຳຮ້ອງດ້ວຍ HTTP proxy middleware ຂອງ Scrapy

ໃຊ້ເມຕາດາຕາຄຳຮ້ອງຂອງ Scrapy ແລະ proxy middleware ຂອງມັນ ກ່ອນທີ່ຈະຄັດລອກ middleware ກວດສອບຕົວຕົນແບບກຳນົດເອງເກົ່າເຂົ້າໃນ crawler.

HTTP proxy middleware ຂອງ Scrapy ອ່ານພຣັອກຊີຈາກເມຕາດາຕາຄຳຮ້ອງ:

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

ປ່ຽນແທນຈຸດສິ້ນສຸດໃນເອກະສານ ແລະ ເປີດ middleware ໄວ້. ລາຍຊື່ພຣັອກຊີ HTTP ສະເໜີຜູ້ສະໝັກສາທາລະນະສຳລັບ URL ຂອງຄຳຮ້ອງນີ້. ສິ່ງນີ້ເລືອກເສັ້ນທາງຂອງຄຳຮ້ອງ; ສະລອງພຣັອກຊີຕ້ອງການໂລຈິກການເລືອກແຍກຕ່າງຫາກ.

ການກວດສອບຕົວຕົນຕາມຈຸດສິ້ນສຸດທີ່ເລືອກ

middleware ທີ່ມີຢູ່ແລ້ວຈັດການຂໍ້ມູນຢືນຢັນທີ່ສະໜອງຜ່ານ URL ພຣັອກຊີທີ່ຮອງຮັບ ແລະ ຫົວຂໍ້ອະນຸຍາດທີ່ກ່ຽວຂ້ອງ. Escape ຕົວອັກສອນ URL ທີ່ສະຫງວນໄວ້ ແລະ ຫຼີກລ່ຽງການບັນທຶກ URL ນັ້ນ.

middleware ແຍກຕ່າງຫາກບໍ່ຄວນເກັບຫົວຂໍ້ Basic ສຳລັບພຣັອກຊີກ່ອນໜ້າຫຼັງຈາກຈຸດສິ້ນສຸດປ່ຽນ. ໃຫ້ຊັ້ນດຽວຈັດການເສັ້ນທາງ ແລະ ຂໍ້ມູນຢືນຢັນຂອງມັນນຳກັນ.

ລຳດັບການເລືອກ ແລະ ຄ່າເລີ່ມຕົ້ນ

ຖ້າ downloader middleware ກຳນົດເອງເລືອກພຣັອກຊີ, ໃຫ້ລັນມັນກ່ອນ proxy middleware ທີ່ມີຢູ່ແລ້ວປະມວນຜົນຄຳຮ້ອງ. ກວດສອບລຳດັບ ແລະ API ຂອງສະບັບທີ່ຕິດຕັ້ງ; ການນຳເຂົ້າ scrapy.contrib ທີ່ລ້າສະໄໝເປັນຂອງສະບັບເກົ່າ.

ສະພາບແວດລ້ອມຂອງຂະບວນການຍັງສາມາດສະໜອງຄ່າເລີ່ມຕົ້ນສະເພາະແຜນຜັງໄດ້. ສຳລັບຄຳຮ້ອງທີ່ຕັ້ງໃຈໃຫ້ຊື່, ໃຊ້ພຶດຕິກຳພິເສດທີ່ບັນທຶກໄວ້ຂອງເມຕາດາຕາ proxy: ກະແຈທີ່ບໍ່ມີບໍ່ໄດ້ໝາຍຄວາມວ່າເຂົ້າເຖິງຊື່ສະເໝີ.

ກວດເບິ່ງຜົນລັບຕົວຈິງ. 407 ກ່ຽວກັບການກວດສອບຕົວຕົນຂອງພຣັອກຊີ, ສ່ວນຂີດຈຳກັດອັດຕາ ຫຼື ການປະຕິເສດການເຂົ້າເຖິງຂອງເວັບໄຊອາດມາຫຼັງຈາກເສັ້ນທາງເຮັດວຽກຢ່າງຖືກຕ້ອງ.

ບົດຄວາມທີ່ກ່ຽວຂ້ອງ