Scrapy AutoThrottle דורך אַ פּראָקסי: סלאָץ און לאַטנעץ
האַלט די אַראָפּלאָדן סלאָץ פֿון דער ציל וועבזײַט באַזונדער פֿון די פּראָקסי וועגן און טייטש די פֿאַרהאַלטונג ווי דער באַאַכטעטער בעטן וועג.
ביי פֿאַרהאַנדלאַך, Scrapy צעטײַלט אַראָפּלאָדן סלאָץ לויט דער דאָמען פֿון דער בעטן URL. געבן אַ בעטן אַ HTTP פּראָקסי פֿאַרענדערט נישט די URL אין דעם האָסט נאָמען פֿון דעם פּראָקסי. דערפֿאַר קענען בעטן צו פֿאַרשיידענע וועבזײַטן בלײַבן מיט פֿאַרשיידענע סלאָץ בשעת זיי טיילן איין מיטלמאַן.
AutoThrottle פֿאַרשטעלט די אָפּהאַלטונג פֿון יעדן סלאָט מיט דער באַאַכטעטער אַראָפּלאָדן לאַטנעץ. די סטאַנדאַרד פּער-דאָמען פּאַראַלעליטעט גרענעץ און די מינימאַלע אַראָפּלאָדן אָפּהאַלטונג גילטן נאָך.
פּרוּווט די גרופּירונג פֿאַר איר ענדערן דעם אַלגאָריטם
אַ מנהג מיטלוואַרג קען באַשטימען request.meta["download_slot"], איבערשרייבן די נאָרמאַלע סלאָט אויסוואַל. עטלעכע פּראָקסי פֿאַרברייטונגען נוצן זייער אייגענע גרופּירונג. פּרוּווט די איינשטעלונגען אויב נישט-פֿאַרבונדענע וועבזײַטן דאַכטן זיך צו טיילן איין באַגרענעצער.
פֿאַרקערט, צוטיילן אַ פֿאַרשיידן סלאָט פֿאַר יעדן פּראָקסי קען לאָזן עטלעכע פּראָקסיס צוגיין צום זעלביקן ציל אין דער זעלביקער צײַט. דאָס קען אונטערגרובן אַ גרענעץ פֿאַר דער גאַנצער וועבזײַט וואָס דער קריכער האָט געדאַרפֿט רעספּעקטירן. קלויב דעם סלאָט שליסל לויט דעם באַשיצטן רעסורס.
די אָפּהאַלטונג שליסט איין דעם וועג וואָס איר האָט גענוצט
Scrapy מעסט די לאַטנעץ פֿון שיקן דעם בעטן ביז באַקומען די HTTP קעפּ. אַ בעטן געפֿירט דורך אַ פּראָקסי קען אַרייַננעמען דעם מיטלמאַנס רייע און ווײַטערפֿירונג אָפּהאַלטונג אין דער מעסטונג. AutoThrottle באַקומט נישט אַ באַזונדער פּראָצעסירונג צײַט בלויז פֿון דעם אָנהייב.
פֿאַרמערן פּאַראַלעליטעט קען נישט מאַכן די מעסטונג אַז די וועבזײַט זאָל ווערן איזאָלירט. האַלט די מילדקייט צום ציל און די פּראָקסי קאַפּאַציטעט ווי באַזונדערע גרענעצן ווען ביידע זײַנען וויכטיק. אַ געטיילטער פּראָקסי קען דאַרפֿן אַן עקסטרע פּאַראַלעליטעט בודזשעט איבער די ציל סלאָץ, בשעת יעדער ציל האַלט זײַן אייגענע גיכקייט פּאָליטיק.