ໂຫຼດການຕັ້ງຄ່າພຣັອກຊີ Scrapy ເຂົ້າໃນສະຄຣິບ CrawlerProcess

ແມງມຸມສາມາດໃຊ້ພຣັອກຊີທີ່ຄາດຫວັງໄດ້ພາຍໃຕ້ scrapy crawl ແລະ ຈະໄປໂດຍກົງເມື່ອຖືກເປີດດ້ວຍສະຄຣິບ Python. ກວດເບິ່ງວ່າສະຄຣິບນັ້ນສ້າງການຕັ້ງຄ່າຂອງມັນຢ່າງໃດ ກ່ອນຈະປ່ຽນເຊີບເວີພຣັອກຊີ.

ສຳລັບໂຄງການ Scrapy ທີ່ມີຢູ່ແລ້ວ ແລະ ແມງມຸມທີ່ລົງທະບຽນໄວ້:

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

settings = get_project_settings()
process = CrawlerProcess(settings=settings)
process.crawl('catalog')
process.start()

ປ່ຽນ catalog ເປັນຊື່ແມງມຸມຂອງໂຄງການ. ໂຄງການຕ້ອງສາມາດຄົ້ນພົບໄດ້ຜ່ານ scrapy.cfg ຂອງມັນ ຫຼື ຜ່ານ SCRAPY_SETTINGS_MODULE ທີ່ຕັ້ງຖືກຕ້ອງ ເຊິ່ງຊີ້ໄປຫາໂມດູນການຕັ້ງຄ່າທີ່ນຳເຂົ້າໄດ້.

ການສ້າງ CrawlerProcess() ພຽງຢ່າງດຽວບໍ່ໄດ້ນຳເຂົ້າໄຟລ໌ການຕັ້ງຄ່າຂອງໂຄງການ ພຽງເພາະວ່າສະຄຣິບຍັງນຳເຂົ້າຄລາສແມງມຸມ. ດັ່ງນັ້ນ middleware ກຳນົດເອງທີ່ເປີດໂດຍ DOWNLOADER_MIDDLEWARES ອາດຈະຂາດຫາຍໄປຈາກການຮັນນັ້ນ.

ການໂຫຼດການຕັ້ງຄ່າຈະໃຫ້ອົງປະກອບທີ່ຕັ້ງຄ່າໄວ້; ມັນບໍ່ໄດ້ຄິດຫາທີ່ຢູ່ພຣັອກຊີຂຶ້ນມາ. middleware ພຣັອກຊີ HTTP ຂອງ Scrapy ຍັງຕ້ອງການພຣັອກຊີສິ່ງແວດລ້ອມປົກກະຕິ ຫຼື ຄ່າ request.meta['proxy'] ທີ່ຊັດເຈນ. ກວດເບິ່ງວ່າ HTTPPROXY_ENABLED ບໍ່ໄດ້ປິດມັນ. ສຳລັບການຄົ້ນຫາໜ້າສາທາລະນະທີ່ໄດ້ຮັບອະນຸຍາດ ລາຍຊື່ພຣັອກຊີ HTTP ຈະໃຫ້ຜູ້ສະໝັກສຳລັບຄ່າພຣັອກຊີ HTTP ທີ່ສົ່ງຜ່ານ metadata ຫຼື ສິ່ງແວດລ້ອມນັ້ນ.

ປຽບທຽບການຕັ້ງຄ່າທີ່ໂຫຼດແລ້ວ ແລະ middleware ທີ່ເຮັດວຽກຂອງຕົວເປີດ ກັບການຮັນຈາກແຖວຄຳສັ່ງ. ຖ້າພວກມັນກົງກັນ ໃຫ້ສືບຕໍ່ກັບ metadata ພຣັອກຊີຂອງຄຳຮ້ອງທີ່ເລືອກ ແລະ ຂໍ້ຜິດພາດການຂົນສົ່ງຕົວຈິງ.