א שטעקנדיקער זוך אין פּראָקסי־פּול קען אָפּשטעלן Scrapy

דער קריכער האָט גענוג פּאַראַלעלע בקשות קאָנפֿיגורירט. ער שטעקט זיך דאָך אַלע מאָל ער בעט דעם פּראָקסי־פּול פֿאַר אַן אַנדער אַדרעס. צולייגן מער פּראָקסיס העלפֿט נישט אויף דעם שטעקן.

אַ געוויינטלעך מידלווער־מוסטער רופֿט requests.get(pool_url) אין process_request() אַריין. דאָס איז אַ סינכראָנישע נעץ־אָפּעראַציע אויף אַ וועג וואָס זאָל מיטאַרבעטן מיט Scrapy'ס אַסינכראָנער מאָטאָר. בשעת דער רוף וואַרט, קען ער אָפּהאַלטן אומפֿאַרבונדענע אַרבעט אויף דעם זעלביקן עווענט־שלייף פֿאָדעם.

עס זײַנען צוויי בקשות אין דער אַרבעט

איין בקשה באַקומט אַן ענדפּוינט פֿון דער פּול־דינסט. די אַנדערע נוצט דעם ענדפּוינט צו פֿאַרבינדן זיך מיטן ציל. מאָס און באַריכט זיי באַזונדער. אַ פּאַמע API פֿון דעם פּול קען מאַכן יעדן אויסגעקליבענעם פּראָקסי אויסזען פּאַמע, נאָך איידער די אַפּלאַקיישאַן האָט זיך צו אים פֿאַרבונדן.

נוצט אַן אַסינכראָנער אַנטדעקונג־אינטעגראַציע וואָס די אינסטאַלירטע Scrapy־ווערסיע פֿאַרשטייט, אָדער באַקומט און דערפֿרישט אַ באַגרענעצטן לאָקאַלן ענדפּוינט־סכום אינדרויסן פֿון יעדער בקשה'ס קריטישן וועג. אויב שטעקנדיקע אַרבעט מוז זיך אַוועקפֿירן, גיב יענעם אויספֿירער זײַנע אייגענע גרענעצן און צײַט־אָפּהאַנדלונג; אַן אומבאַגרענעצטע ריי פֿאַרשופּט נאָר די פֿאַרשפּעטיקונג.

שיקט נישט אויטאָמאַטיש נאָך אַ רוף פֿאַר אַנטדעקונג פֿאַר יעדער בקשה. אַ קורץ־לעבעדיקער קאַש אָדער אַ געדינגענע פּאַרטיי קענען פֿאַרקלענערן די אָפּהענגיקײַט פֿון דער פּול־דינסט, בפֿרט ווען איר לעבן שטימט מיט דער דינסט'ס אמת'ער ענדפּוינט־פּאָליטיק.

דעפֿינירט וואָס אַ דורכגעפֿאַלן זוך מיינט

אַ ליידיק אָדער דורכגעפֿאַלן ענטפֿער פֿון פּול זאָל נישט שטיל אַוועקנעמען די פּראָקסי־מעטאַדאַטן און דערלויבן אַ דירעקטן בקשה. קלייבט אַ קלאָרן רעזולטאַט: וואַרטן אין דער אַרבעט־בודזשעט, דורכפֿאַלן, אָדער נוצן אַ באַשטעטיקטן קאַשירטן ענדפּוינט.

האַלט אויך דעם אייגענעם וועג פֿון דער פּול API פֿרײַ. אויב עס איז אַן אינעווייניקסטער דינסט, קען שיקן איר פּריוואַטן האָסטנאָמען דורך דעם זעלביקן פּראָקסי וואָס העלפֿט זי אויסקלייבן שאַפֿן אַ צירקולידער אָפּהענגיקײַט.

אַז די אַנטדעקונג אַרבעט אָן אָפּהאַלטן אומפֿאַרבונדענע אַרבעט, פּרוּווט דעם געוויינטלעכן פּראָקסי־טראַנזאַקציע. דאָס זײַנען באַזונדערע רעפּאַראַציעס, און זייער צײַט פֿאַרדינט באַזונדערע פֿעלדער אין לאָג.