Scrapy прокси олон домэйн дахь зэрэгцээ байдал
Хэд хэдэн зорилтот домэйн нэг прокси квотыг зарцуулах үед татан авагчийн глобал зэрэгцээ байдлын хязгаарыг ашиглаж, дараа нь тухайн бүртгэлийг хуваалцаж буй бусад crawler-уудыг тооцоолно.
Хэрэв зорилт бүр нэг прокси бүртгэл ашигладаг бол тухайн бүртгэлийн зэрэгцээ хүсэлтийн зөвшөөрөл бүх зорилгод зарцуулагдаж болно. Зөвхөн домэйн тус бүрийн хязгаар энэ хуваалцсан төсвийг илэрхийлэхгүй.
Хамгийн ихдээ 20 зэрэгцээ хүсэлт зөвшөөрдөг таамаглал бүртгэлийн хувьд бага зэрэг нөөц үлдээгээд crawler-ийн глобал татан авагчийн хязгаарыг тогтооно:
CONCURRENT_REQUESTS = 16Энэ бол жишээ хуваарилалт бөгөөд нийлүүлэгч бүрт санал болгож буй утга биш. Scrapy нь CONCURRENT_REQUESTS-ийг татан авагчийн хамгийн их зэрэгцээ хүсэлтийн тоо гэж тодорхойлдог. Домэйн тус бүрийн хяналт зэрэгцээ байдлыг улам бууруулж болно; гэхдээ глобал дээд хязгаарыг орлуулахгүй.
Бусад crawler-уудыг тооцоонд оруулна. Тус бүр 16 хүсэлтийн зөвшөөрөлтэй хоёр бие даасан crawler хамтдаа 20-ийн хуваалцсан зөвшөөрлөөс хэтэрч болно. Төсвийг санаатайгаар хуваах эсвэл тэдгээр клиентүүд уулзах цэгт нийтлэг хязгаар хэрэгжүүлнэ.
Нийлүүлэгч юу тоолдогийг ч тодорхойлно. HTTP хүсэлт, нээлттэй TCP холболт, идэвхтэй туннель, секундэд хүсэлт нь өөр өөр хэмжигдэхүүн юм. Байнгын холболт ба мультиплекс нь тэдгээрийн тоог ялгаатай болгож болно. Тиймээс хүсэлтийн зэрэгцээ байдлын тохиргоо нь холболт эсвэл хурдны бүрэн хязгаарлагч биш.
Зорилтот сайтын хэмнэлийг тусдаа хязгаарлалт болгон хадгална. Прокси бүртгэлд ашиглагдаагүй хүчин чадал байсан ч тодорхой зорилтод бага зэрэгцээ байдал эсвэл татах саатал тохиромжтой хэвээр байж болно.