Crawlee 3 łączy adres URL proxy z identyfikatorem sesji

W Crawlee 3.14 ProxyConfiguration może powiązać identyfikator sesji z wybranym adresem URL proxy:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

Lista proxy HTTP dostarcza publicznych kandydatów dla proxyUrls. Powtarzane wywołania z tym samym identyfikatorem sesji zwracają przypisany do niego adres URL. Bez identyfikatora sesji podana lista przełącza się po kolei. To wybiera skonfigurowany punkt końcowy; usługa nadrzędna, która obraca wyjścia za jednym adresem URL, nadal kontroluje własne zachowanie wyjściowe.

W przypadku sesji zarządzanych przez crawler używaj puli sesji crawlera i mechanizmu utrwalania plików cookie. Obniżenie maxConcurrency do jednego nie zastępuje określenia, które żądania należą do tej samej sesji.

Wycofanie sesji tworzy nową granicę tożsamości. Utrzymuj jej trasę, pliki cookie i stan obciążenia w spójności, zamiast obracać tylko jedno pole podczas logowania lub operacji wieloetapowej.

Wersja główna ma znaczenie. Dokumentacja migracji Crawlee do v4 usuwa argument sessionId z newUrl i przenosi łączenie proxy do własności Session. Powyższy przykład celowo używa interfejsu v3; nie kopiuj jego argumentu do innej wersji głównej bez dostosowania tego cyklu życia.