Crawlee 3 מצמיד כתובת proxy למזהה הפעלה
השתמשו בארגומנט ההפעלה של ProxyConfiguration ב-Crawlee 3.14 לבחירת מסלול יציבה, והתחשבו במודל הבעלות שהשתנה בתיעוד ההגירה ל-v4.
ב-Crawlee 3.14, ProxyConfiguration יכול להצמיד מזהה הפעלה לכתובת proxy נבחרת:
import { ProxyConfiguration } from 'crawlee';
const proxies = new ProxyConfiguration({
proxyUrls: [
'http://proxy-a.example:8080',
'http://proxy-b.example:8080',
],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');
רשימת פרוקסי ה-HTTP מספקת מועמדים ציבוריים עבור proxyUrls. קריאות חוזרות עם אותו מזהה הפעלה מחזירות את הכתובת המוצמדת לו. בלי מזהה הפעלה, הרשימה שסופקה מתחלפת בסבב. זה בוחר נקודת קצה מוגדרת; שירות במעלה הזרם שמסבב יציאות מאחורי כתובת אחת עדיין שולט בהתנהגות היציאה שלו.
להפעלות שמנוהלות בידי הסורק, השתמשו במאגר ההפעלות של הסורק ובסדר שמירת קובצי ה-Cookie. הורדת maxConcurrency לאחד אינה תחליף להגדרה אילו בקשות שייכות לאותה הפעלה.
הוצאת הפעלה משימוש יוצרת גבול זהות חדש. שמרו על המסלול, קובצי ה-Cookie ומצב עומס העבודה שלה עקביים במקום לסובב שדה אחד בלבד בזמן התחברות או פעולה מרובת שלבים.
הגרסה הראשית חשובה. תיעוד ההגירה של Crawlee ל-v4 מסיר את הארגומנט sessionId מ-newUrl ומעביר את הצמדת ה-proxy לבעלות Session. הדוגמה למעלה משתמשת במכוון בממשק v3; אל תעתיקו את הארגומנט שלה לגרסה ראשית אחרת בלי להתאים את מחזור החיים הזה.