Проксигоор дамжуулсан Scrapy AutoThrottle: слот ба хоцролт
Зорилтот сайтын татах слотуудыг прокси маршрутаас тусгаар байлгаж, хоцролтыг ажиглагдсан хүсэлтийн зам гэж тайлбарлана.
Анхдагчаар Scrapy татах слотуудыг хүсэлтийн URL-ийн домайнаар хуваарилдаг. Хүсэлтэд HTTP прокси өгөх нь тухайн URL-ыг проксигийн хостын нэр болгож өөрчлөхгүй. Тиймээс өөр өөр сайт руу чиглэсэн хүсэлтүүд нэг зуучлагчийг хуваалцсан ч өөр өөр слот хадгалж болно.
AutoThrottle нь ажиглагдсан татах хоцролтыг ашиглан слот бүрийн сааталтыг тохируулдаг. Домайн тус бүрийн зэрэгцээ ажиллагааны стандарт хязгаар болон татах хамгийн бага саатал хүчинтэй хэвээр.
Алгоритмыг өөрчлөхөөс өмнө бүлэглэлтийг шалгана уу
Захиалгат middleware нь request.meta["download_slot"] оноож, ердийн слот сонголтыг дарж болно. Зарим прокси өргөтгөл өөрийн бүлэглэлтийг ашигладаг. Хамааралгүй сайтууд нэг хязгаарлагчийг хуваалцаж байгаа мэт санагдвал тэдгээр тохиргоог шалгана уу.
Харин прокси бүрт өөр слот оноох нь олон прокси нэгэн зэрэг нэг зорилтод хандах боломжийг олгож болно. Энэ нь crawler-ийн хүндэтгэх ёстой сайтын хэмжээний хязгаарыг зөрчиж болзошгүй. Слотын түлхүүрийг хамгаалагдаж буй нөөцөд тохируулан сонгоно уу.
Саатал нь таны ашигласан замыг агуулна
Scrapy нь хүсэлт илгээсэнээс HTTP толгой хүлээн авах хүртэлх хоцролтыг хэмждэг. Проксигоор дамжсан хүсэлт тухайн ажиглалтад зуучлагчийн дараалал болон дамжуулалтын саатлыг оруулж болно. AutoThrottle нь зөвхөн эх үүсвэрийн боловсруулалтын хугацааг тусад нь авдаггүй.
Зэрэгцээ ажиллагааг нэмэгдүүлэх нь тэр хэмжилтийг сайтыг тусгаарладаг болгохгүй. Зорилтод эелдэг байдал болон проксигийн хүчин чадлыг хоёулаа чухал үед тусдаа хязгаар болгон баримтална уу. Хуваалцсан проксид зорилтот слотуудын хооронд нэмэлт зэрэгцээ төсөв хэрэгтэй байж болох бөгөөд зорилт бүр өөрийн хурдны бодлогыг хадгална.