האם פרוקסי קדמי אוכף robots.txt עבור סורק?
החזיקו את מדיניות robots בסורק עצמו והבינו את גבולות האכיפה שלה בפרוקסי קדמי.
מתן פרוקסי HTTP לסורק משנה את הדרך שבה בקשותיו מגיעות לאתר. הוא אינו גורם לפרוקסי להביא את robots.txt, לבחור את קבוצת הכללים של הסורק או לתזמן את בקשותיו בנימוס.
פרוטוקול ההדרה של רובוטים מתאר כללים לסורקים. הוא כולל התאמה, כשלי הבאה, הפניות והתנהגות מטמון. פרוקסי שרק מעביר את המסמך המבוקש לא יישם את המדיניות הזו בשם הסורק.
החזיקו את החלטת הכללים קרוב לתור הבקשות של הסורק. שם זמינים הזהות המיועדת, כתובת היעד ומצב התזמון לפני שליחת העבודה.
למה סינון בצד הפרוקסי קשה ממה שזה נשמע
ב-HTTP פשוט מסנן שנבנה במיוחד עשוי לראות את נתיב היעד ואת ה-User-Agent. אך עדיין נדרשת ממנו הטמעה אמיתית של הכללים ומדיניות מוגדרת להבאה, לאחסון ולעדכון של קובץ ה-robots הרלוונטי. הפיכת כמה שורות Disallow לחסימות כתובות סטטיות אינה הפרוטוקול המלא.
ב-HTTPS דרך CONNECT רגיל הפרוקסי הקדמי רואה את יעד המנהרה ולא את נתיב כל עמוד מוצפן ואת ה-User-Agent הפנימי. חסר לו המידע הדרוש להחלטות robots ברמת הנתיב, אלא אם הסדר מכוון אחר מספק אותו.
גם החלפת כתובת היציאה אינה הופכת נתיב אסור למותר. תאמו את הקצב בין עובדים החולקים את פעילות הסורק; החלפת מסלולים אינה תחליף למדיניות הזו.
ולבסוף, כללי robots אינם הרשאת גישה. נתיב מותר אינו עוקף אימות או דרישות גישה אחרות של האתר, וקובץ robots ציבורי אינו מאבטח תוכן פרטי.