Crawlee 3 bir proxy URL'sini oturum kimliğiyle eşleştirir

Crawlee 3.14'te ProxyConfiguration bir oturum tanımlayıcısını seçilen proxy URL'siyle eşleştirebilir:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

HTTP proxy listesi proxyUrls için genel adaylar sağlar. Aynı oturum kimliğiyle yapılan tekrarlı çağrılar, ona eşlenen URL'yi döndürür. Oturum kimliği yoksa verilen liste sırayla döner. Bu, yapılandırılmış bir uç nokta seçer; tek bir URL'nin arkasında çıkışları döndüren bir üst akış hizmeti yine de kendi çıkış davranışını kontrol eder.

Crawler tarafından yönetilen oturumlar için crawler'ın oturum havuzunu ve çerez kalıcılığı düzenini kullanın. maxConcurrency'yi bire indirmek, hangi isteklerin aynı oturuma ait olduğunu tanımlamanın yerini tutmaz.

Bir oturumu emekliye ayırmak yeni bir kimlik sınırı oluşturur. Oturum açma veya çok adımlı bir işlem sırasında yalnızca bir alanı döndürmek yerine rotasını, çerezlerini ve iş yükü durumunu tutarlı tutun.

Ana sürüm önemlidir. Crawlee'nin v4 geçiş belgeleri sessionId argümanını newUrl'den kaldırır ve proxy eşleştirmesini Session sahipliğine taşır. Yukarıdaki örnek v3 arayüzünü bilerek kullanır; bu yaşam döngüsünü uyarlamadan argümanını başka bir ana sürüme kopyalamayın.