Proxy ئارقىلىق Scrapy AutoThrottle: ئورۇنلار ۋە كېچىكىش
نىشان تور بېكىتىنىڭ چۈشۈرۈش ئورۇنلىرىنى proxy يوللىرىدىن ئايرىڭ ۋە كېچىكىشنى كۆزەتكەن تەلەپ يولى دەپ چۈشەندۈرۈڭ.
سۈكۈتتىكى ھالەتتە Scrapy چۈشۈرۈش ئورۇنلىرىنى تەلەپ URL نىڭ دائىرىسى بويىچە تارقىتىدۇ. بىر تەلەپكە HTTP proxy بېرىش ئۇ URL نى proxy نىڭ كومپيۇتېر ئاتىغا ئايلاندۇرمايدۇ. شۇڭا ئوخشاش بولمىغان تور بېكەتلەرگە قىلىنغان تەلەپلەر بىر ۋاسىتىچىنى ئورتاقلىشىپ تۇرۇپمۇ ئوخشاش بولمىغان ئورۇنلارنى ساقلىيالايدۇ.
AutoThrottle كۆزەتكەن چۈشۈرۈش كېچىكىشىنى ئىشلىتىپ ھەر بىر ئورۇننىڭ كېچىكىشىنى تەڭشەيدۇ. ئۆلچەملىك دائىرە بويىچە قوشۇمچە ئىجرا قىلىش چېكى ۋە ئەڭ تۆۋەن چۈشۈرۈش كېچىكىشى يەنىلا قوللىنىلىدۇ.
ئالگورىتمىنى ئۆزگەرتىشتىن بۇرۇن گۇرۇپپىلاشنى تەكشۈرۈڭ
خاس middleware request.meta["download_slot"] نى تەيىنلەپ نورمال ئورۇن تاللاشنى بىكار قىلالايدۇ. بەزى proxy كېڭەيمىلىرى ئۆز گۇرۇپپىلىشىنى ئىشلىتىدۇ. ئالاقىسىز تور بېكەتلەر بىر چەكلىگۈچنى ئورتاقلىشىۋاتقاندەك كۆرۈنسە، شۇ تەڭشەكلەرنى تەكشۈرۈڭ.
ئەكسىچە، ھەر بىر proxy ئۈچۈن ئوخشاش بولمىغان ئورۇن تەيىنلەش بىر قانچە proxy نىڭ بىر ۋاقىتتا ئوخشاش نىشانغا ئۇلىنىشىغا يول قويۇشى مۇمكىن. بۇ crawler ھۆرمەت قىلىشقا تېگىشلىك پۈتۈن تور بېكەت چېكىنى بۇزۇشى مۇمكىن. ئورۇن ئاچقۇچىنى قوغدىلىدىغان بايلىققا قاراپ تاللاڭ.
كېچىكىش سىز ئىشلەتكەن يولنى ئۆز ئىچىگە ئالىدۇ
Scrapy كېچىكىشنى تەلەپ ئەۋەتكەندىن HTTP ماۋزۇلىرىنى تاپشۇرۇۋالغانغا قەدەر ئۆلچەيدۇ. Proxy ئارقىلىق يۆتكەلگەن تەلەپ بۇ كۆزىتىشكە ۋاسىتىچىنىڭ ئۆچىرەت ۋە يۆتكەش كېچىكىشىنى قوشۇشى مۇمكىن. AutoThrottle پەقەت مەنبەگە تەۋە ئايرىم بىر تەرەپ قىلىش ۋاقتىغا ئېرىشەلمەيدۇ.
قوشۇمچە ئىجرا قىلىشنى ئاشۇرۇش بۇ ئۆلچەشنى تور بېكەتنى ئايرىيالايدىغان قىلالمايدۇ. نىشانغا ئەدەبلىك ۋە proxy سىغىمىنى ئىككىسىمۇ مۇھىم بولغاندا ئايرىم چەك قىلىپ ساقلاڭ. ئورتاقلىشىلغان proxy نىشان ئورۇنلىرى ئارقىلىق قوشۇمچە ئىجرا بۇدجېتى غا ئېھتىياجلىق بولۇشى مۇمكىن، ھەر بىر نىشان ئۆزىنىڭ سۈرئەت سىياسىتىنى ساقلايدۇ.