توسىغۇچى proxy pool ئىزدەش Scrapy نى توختىتىپ قويۇشى مۇمكىن
Synchronous proxy pool API چاقىرىقىنى Scrapy نىڭ event-loop يولىدىن سىرت ساقلاپ، endpoint ئىزدەشكە ئۆزىنىڭ مەغلۇبىيەت سىياسىتىنى بېرىڭ.
توسىغۇچىدا يېتەرلىك قاتارلىق تەلەپلەر سەپلەنگەن. شۇنداقتىمۇ ئۇ ھەر قېتىم proxy pool دىن باشقا ئادرېس سورىغاندا توختايدۇ. تېخىمۇ كۆپ proxy قوشۇش بۇ توختاشقا تەسىر كۆرسەتمەيدۇ.
ئادەتتىكى middleware ئەندىزىسى requests.get(pool_url) نى process_request() نىڭ ئىچىدە چاقىرىدۇ. بۇ Scrapy نىڭ async ماتورى بىلەن ھەمكارلىشىشى كېرەك بولغان يولدا synchronous تور مەشغۇلاتىدۇر. چاقىرىق ساقلاپ تۇرغاندا، ئۇ ئوخشاش event-loop يېپىقىدىكى مۇناسىۋەتسىز خىزمەتلەرنى تۇتۇپ قالىدۇ.
خىزمەتتە ئىككى تەلەپ بار
بىر تەلەپ pool مۇلازىمىتىدىن endpoint ئالىدۇ. يەنە بىرى ئۇ endpoint نى مەنزىل بىلەن ئالاقىلىشىش ئۈچۈن ئىشلىتىدۇ. ئىككىسىنى ئايرىم ئۆلچەپ، دوكلات قىلىڭ. ئاستا pool API قوللانما تېخى ئۇنىڭغا ئۇلانمىغان تۇرۇپلا ھەر بىر تاللانغان proxyni ئاستا كۆرسىتىشى مۇمكىن.
قوزغىتىلغان Scrapy نەشرى قوللايدىغان async ئىزدەش بىرلەشمىسىنى ئىشلىتىڭ، ياكى ھەر بىر تەلەپنىڭ مۇھىم يولىدىن سىرت چەكلىك يەرلىك endpoint توپلىمىنى ئېلىپ يېڭىلاڭ. ئەگەر توسىغۇچى خىزمەتنى يۆتكەش كېرەك بولسا، ئۇ ئىجرا قىلغۇچىغا ئۆزىنىڭ چېكى ۋە ۋاقىت بىرلەشمىسىنى بېرىڭ؛ چەكسىز ئۆچرەت پەقەت كېچىكىشنىڭ ئورنىنى ئالماشتۇرىدۇ.
ھەر بىر تەلەپ ئۈچۈن ئاپتوماتىك يەنە بىر ئىزدەش چاقىرىقى چىقارماڭ. قىسقا مۇددەتلىك cache ياكى ئىجارەگە ئېلىنغان توپ مۇلازىمەتنىڭ ھەقىقىي endpoint سىياسىتىگە ماس كەلسە، pool مۇلازىمىتىگە باغلىنىشنى ئازايتالايدۇ.
مەغلۇب بولغان ئىزدەشنىڭ مەنىسىنى بەلگىلەڭ
قۇرۇق ياكى مەغلۇب بولغان pool ئىنكاسى proxy مېتا سانلىق مەلۇماتىنى ئۈنسىز ئۆچۈرۈپ، بىۋاسىتە تەلەپكە يول قويۇپ قويماسلىقى كېرەك. ئېنىق نەتىجە تاللاڭ: خىزمەت بۇدجېتى ئىچىدە ساقلاش، مەغلۇب بولۇش، ياكى تەستىقلانغان cache endpoint نى ئىشلىتىش.
pool API نىڭ ئۆز يولىنىمۇ ئوچۇق ساقلاڭ. ئەگەر ئۇ ئىچكى مۇلازىمەت بولسا، ئۇنىڭ شەخسىي hostname نى ئۇنى تاللاشقا ياردەم بېرىدىغان proxy ئارقىلىق ئەۋەتىش چەمبەرلىك باغلىنىش پەيدا قىلىشى مۇمكىن.
ئىزدەش مۇناسىۋەتسىز خىزمەتنى توسماي ئىشلىگەندىن كېيىن، ئادەتتىكى proxy سودىسىنى تەكشۈرۈڭ. ئۇلار ئايرىم رېمونتلار، ۋاقتى ئۇلارنىڭ خاتىرىدە ئايرىم مەيدانغا لايىق.