ການເຮັດວຽກພ້ອມກັນຂອງພຣັອກຊີ Scrapy ໃນຫຼາຍໂດເມນ

ຖ້າແຕ່ລະປາຍທາງໃຊ້ບັນຊີພຣັອກຊີດຽວ, ໂຄຕ້າຄຳຂໍພ້ອມກັນຂອງບັນຊີນັ້ນອາດຖືກໃຊ້ໝົດໃນທຸກປາຍທາງເຫຼົ່ານັ້ນ. ຂີດຈຳກັດຕໍ່ໂດເມນຢ່າງດຽວບໍ່ໄດ້ສະແດງງົບປະມານຮ່ວມນັ້ນ.

ສຳລັບບັນຊີສົມມຸດທີ່ອະນຸຍາດສູງສຸດ 20 ຄຳຂໍພ້ອມກັນ, ໃຫ້ເກັບພື້ນທີ່ໄວ້ແດ່ ແລ້ວຕັ້ງຂີດຈຳກັດຕົວດາວໂຫລດລວມຂອງ crawler:

CONCURRENT_REQUESTS = 16

ນີ້ແມ່ນການແບ່ງສັນເປັນຕົວຢ່າງ, ບໍ່ແມ່ນຄ່າທີ່ແນະນຳສຳລັບທຸກຜູ້ໃຫ້ບໍລິການ. Scrapy ກຳນົດ CONCURRENT_REQUESTS ເປັນຈຳນວນຄຳຂໍພ້ອມກັນສູງສຸດຂອງຕົວດາວໂຫລດ. ການຄວບຄຸມຕໍ່ໂດເມນສາມາດຫຼຸດການເຮັດວຽກພ້ອມກັນລົງອີກ; ແຕ່ບໍ່ໄດ້ແທນຂີດຈຳກັດເທິງສຸດລວມ.

ນັບລວມ crawler ອື່ນໃນການຄິດໄລ່. crawler ສອງອັນທີ່ເປັນເອກະລາດ ເຊິ່ງແຕ່ລະອັນໄດ້ຮັບອະນຸຍາດ 16 ຄຳຂໍ ສາມາດຮ່ວມກັນເກີນໂຄຕ້າຮ່ວມ 20. ແບ່ງງົບປະມານຢ່າງຕັ້ງໃຈ ຫຼື ບັງຄັບໃຊ້ຂີດຈຳກັດຮ່ວມຢູ່ບ່ອນທີ່ລູກຄ້າເຫຼົ່ານັ້ນມາພົບກັນ.

ກຳນົດດ້ວຍວ່າຜູ້ໃຫ້ບໍລິການນັບຫຍັງ. ຄຳຂໍ HTTP, ການເຊື່ອມຕໍ່ TCP ທີ່ເປີດ, ອຸໂມງທີ່ເຄື່ອນໄຫວ ແລະ ຄຳຂໍຕໍ່ວິນາທີ ແມ່ນປະລິມານທີ່ແຕກຕ່າງກັນ. ການເຊື່ອມຕໍ່ແບບຕໍ່ເນື່ອງ ແລະ multiplexing ອາດເຮັດໃຫ້ຕົວເລກຂອງພວກມັນຕ່າງກັນ. ດັ່ງນັ້ນ ການຕັ້ງຄ່າການເຮັດວຽກພ້ອມກັນຂອງຄຳຂໍ ບໍ່ແມ່ນຕົວຈຳກັດການເຊື່ອມຕໍ່ ຫຼື ອັດຕາທີ່ຄົບຖ້ວນ.

ຮັກສາຈັງຫວະຂອງເວັບໄຊເປົ້າໝາຍ ເປັນຂໍ້ຈຳກັດແຍກຕ່າງຫາກ. ການເຮັດວຽກພ້ອມກັນຕ່ຳລົງ ຫຼື ຄວາມລ່າຊ້າໃນການດາວໂຫລດ ອາດຍັງເໝາະສົມສຳລັບປາຍທາງໜຶ່ງ ເຖິງແມ່ນບັນຊີພຣັອກຊີຍັງມີຄວາມສາມາດທີ່ບໍ່ໄດ້ໃຊ້.