ເປັນຫຍັງຫົວຂໍ້ອອກຂອງ ProxyMesh ອາດຫາຍໄປໃນ Scrapy

ProxyMesh ສາມາດສົ່ງຂໍ້ມູນເສັ້ນທາງໃນ CONNECT ກ່ອນທີ່ Scrapy ຈະໄດ້ຮັບຄຳຕອບເວັບໄຊທີ່ເຂົ້າລະຫັດ. ກວດເບິ່ງຂັ້ນຕອນຄຳຕອບທີ່ຖືຂໍ້ມູນນັ້ນຢ່າງແທ້ຈິງ.

ການທີ່ບໍ່ມີ X-ProxyMesh-IP ໃນ callback HTTPS ຂອງ Scrapy ບໍ່ໄດ້ພິສູດການເສັ້ນທາງໂດຍກົງ. ໃນ HTTPS ແບບອຸໂມງ ProxyMesh ວາງຫົວຂໍ້ເສັ້ນທາງໃສ່ຄຳຕອບ CONNECT; ຄຳຕອບເວັບໄຊທີ່ມາຕໍ່ມາຢູ່ໃນ TLS ແລະ ບໍ່ໄດ້ລວມຂໍ້ມູນເກົ່ານັ້ນໂດຍອັດຕະໂນມັດ.

ບ່ອນທີ່ຫົວຂໍ້ປາກົດໃນ callback ໃຫ້ອ່ານຕາມເງື່ອນໄຂ:

exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
    self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))

ນີ້ແມ່ນອອກທີ່ຜູ້ໃຫ້ບໍລິການລາຍງານສຳລັບການແລກປ່ຽນນັ້ນ ບໍ່ແມ່ນ ຊື່ເຄື່ອງແມ່ຂ່າຍເຂົ້າທີ່ຕັ້ງຄ່າໄວ້.

ຖ້າຕ້ອງການຂໍ້ມູນອຸໂມງ ໃຫ້ໃຊ້ການເຊື່ອມ handler ທີ່ເຂົ້າກັນໄດ້ ເຊິ່ງເປີດເຜີຍຫົວຂໍ້ CONNECT. ProxyMesh ຮັກສາໄວ້ໜຶ່ງສຳລັບຈຸດປະສົງນີ້; ກວດເບິ່ງເວີຊັນ Scrapy ທີ່ຮອງຮັບ ແລະ handler ດາວໂຫລດ. ການແຍກຂອງ spider ບໍ່ສາມາດເປີດເຜີຍຫົວຂໍ້ທີ່ຊັ້ນສົ່ງບໍ່ເຄີຍໃຫ້.

ເຊື່ອມຂໍ້ມູນກັບການເຊື່ອມຕໍ່ຂອງມັນ. ການໃຊ້ອຸໂມງຄືນບໍ່ໄດ້ສ້າງຄຳຕອບ CONNECT ອີກອັນໜຶ່ງສຳລັບທຸກໜ້າ. ສຳລັບທີ່ຢູ່ຕົ້ນທາງອິດສະຫຼະທີ່ປາຍທາງສັງເກດເຫັນ ໃຫ້ກວດເບິ່ງການເຊື່ອມຕໍ່ເຂົ້າຂອງປາຍທາງນັ້ນ ແທນການຖືຫົວຂໍ້ຜູ້ໃຫ້ບໍລິການເປັນເຄື່ອງກວດ IP ສາກົນ.

ບົດຄວາມທີ່ກ່ຽວຂ້ອງ