צי אַ פֿאָרויס־פּראָקסי דערפֿילט robots.txt פֿאַר אַ קרולער?
האַלט די robots־פּאָליטיק אין קרולער אַליין און פֿאַרשטיי די גרענעצן פֿון איר דערפֿילן אין אַ פֿאָרויס־פּראָקסי.
געבן אַ קרולער אַ HTTP־פּראָקסי ענדערט ווי זײַנע בקשות דערגרייכן דעם וועבזײַטל. עס מאַכט אָבער נישט אַז דער פּראָקסי זאָל אַראָפּלאָדן robots.txt, אויסקלײַבן די קרולער־כּלל־גרופּע אָדער פּלאַנירן זײַנע בקשות מיט דרך־ארץ.
דער Robots Exclusion Protocol באַשרײַבט כּללים פֿאַר קרולערס. ער נעמט אַרײַן צוגלייכונג, פֿעלער בײַם אַראָפּלאָדן, איבערפֿירונגען און דאָס פֿאַרהאַלטן פֿון דער קאַש. אַ פּראָקסי וואָס פֿירט בלויז דורכן געבעטן דאָקומענט האָט די פּאָליטיק נישט דורכגעפֿירט אין נאָמען פֿון קרולער.
האַלט די כּלל־באַשלוס נאָענט צו דער רייע פֿון קרולער־בקשות. דאָרט זײַנען פֿאַראַן די געמיינטע אידענטיטעט, דער ציל־URI און דער פּלאַנירונג־צושטאַנד פֿאַר מען שיקט אַרבעט.
פֿאַרוואָס אַ פֿילטער אויף דער פּראָקסי־זײַט איז שווערער ווי עס הערט זיך
פֿאַר פּשוטער HTTP קען אַ ספּעציעל געבויטער פֿילטער זען דעם ציל־וועג און דעם User-Agent. ער דאַרף אָבער נאָך אַן עכטער כּללים־אימפּלעמענטאַציע און אַ באַשטימטע פּאָליטיק פֿאַר אַראָפּלאָדן, קאַשן און דערהײַנטיקן די רעלעוואַנטע robots־טעקע. אַריבערפֿירן עטלעכע Disallow־שורות אין סטאַטישע אַדרעס־בלאָקן איז נישט דער גאַנצער פּראָטאָקאָל.
פֿאַר HTTPS דורך אַ געוויינטלעכן CONNECT זעט דער פֿאָרויס־פּראָקסי דעם טונעל־ציל, נישט דעם וועג פֿון יעדער פֿאַרשיפּערטער זײַט און דעם אינעווייניקסטן User-Agent. אים פֿעלט די אינפֿאָרמאַציע וואָס מען דאַרף פֿאַר robots־באַשלוסן אויף וועג־מדרגה, סיידן אַן אַנדער באַוווּסטער אָרדענונג פֿאַרזאָרגט עס.
פֿאַרבייטן די אַרויסגאַנג־אַדרעס מאַכט אויך נישט אַ פֿאַרווערטן וועג פֿאַר אַ דערלאָזטן. קאָאָרדינירט דעם טעמפּאָ צווישן אַרבעטער וואָס טיילן די קרולער־טעטיקייט; איבערדרייען רוטעס איז נישט קיין פֿאַרבייַט פֿאַר דער פּאָליטיק.
צום סוף, robots־כּללים זײַנען נישט קיין צוטריט־דערלויבעניש. אַ דערלאָזטער וועג איבערשטײַגט נישט די אויטענטיפֿיקאַציע אָדער אַנדערע צוטריט־פֿאָדערונגען פֿון דעם פּלאַץ, און אַ פּובליקע robots־טעקע באַשיצט נישט פּריוואַטן אינהאַלט.