ການຕັ້ງຄ່າສອງຢ່າງສາມາດປິດ proxy middleware ຂອງ Scrapy

ກວດສອບລາຍຊື່ downloader middleware ທີ່ລວມແລ້ວ ແລະ HTTPPROXY_ENABLED ກ່ອນທີ່ຈະເພີ່ມສຳເນົາອື່ນຂອງ proxy middleware ທີ່ມີຢູ່ແລ້ວໃນ Scrapy.

HttpProxyMiddleware ເປັນສ່ວນໜຶ່ງຂອງຄ່າເລີ່ມຕົ້ນ downloader ທີ່ມີຢູ່ແລ້ວໃນ Scrapy. ມັນບໍ່ຈຳເປັນຕ້ອງປາກົດໃນວັດຈະນານຸກົມ DOWNLOADER_MIDDLEWARES ຂອງໂຄງການເພື່ອໃຫ້ສາມາດໃຊ້ໄດ້.

ມີການຄວບຄຸມສອງຢ່າງແຍກກັນທີ່ຕ້ອງກວດ:

  • HTTPPROXY_ENABLED ຄວບຄຸມວ່າອົງປະກອບທີ່ມີຢູ່ແລ້ວເປີດໃຊ້ງານ ຫຼື ບໍ່.
  • ຄ່າ None ສຳລັບເສັ້ນທາງຄລາສຂອງມັນໃນ DOWNLOADER_MIDDLEWARES ຈະລຶບມັນອອກຈາກລຳດັບ middleware ທີ່ລວມແລ້ວ.

ຕົວຢ່າງ, ອັນນີ້ປິດລາຍການເລີ່ມຕົ້ນຢ່າງຊັດເຈນ:

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
}

ລຶບການຂຽນທັບນັ້ນອອກເມື່ອອົງປະກອບທີ່ມີຢູ່ແລ້ວຄວນກັບຄືນມາ. ຢ່າສຳເນົາຕາຕະລາງ DOWNLOADER_MIDDLEWARES_BASE ເກົ່າເຂົ້າໃນໂຄງການພຽງເພື່ອຟື້ນຟູລາຍການດຽວ; Scrapy ລວມຄ່າເລີ່ມຕົ້ນຂອງມັນກັບການຂຽນທັບຂອງໂຄງການ.

middleware ທີ່ເປີດໃຊ້ງານຍັງຕ້ອງການເສັ້ນທາງ ຈາກຄ່າສິ່ງແວດລ້ອມທີ່ຮອງຮັບ ຫຼື ຈາກເມຕາດາຕາ proxyຂອງຄຳຮ້ອງຂໍ. ການປາກົດຂອງມັນໃນ log ເລີ່ມຕົ້ນບໍ່ແມ່ນການມອບໝາຍຄຳຮ້ອງຂໍໃນຕົວມັນເອງ.

ສະບັບ Scrapy ເກົ່າຫຼາຍແຕກຕ່າງກັນໃນເວລາທີ່ອົງປະກອບຖືກໂຫຼດໂດຍບໍ່ມີຄ່າສິ່ງແວດລ້ອມ proxy. ເກັບສະບັບທີ່ຕິດຕັ້ງໄວ້ພ້ອມກັບການບົ່ງຊີ້, ແທນທີ່ຈະຖືການສັງເກດທາງປະຫວັດສາດຍຸກ 1.3 ເປັນກົດການເປີດໃຊ້ງານປັດຈຸບັນ.

ບົດຄວາມທີ່ກ່ຽວຂ້ອງ