Pinapares ng Crawlee 3 ang proxy URL sa isang session ID

Gamitin ang session argument ng ProxyConfiguration sa Crawlee 3.14 para sa matatag na pagpili ng ruta, at isaalang-alang ang nabagong modelo ng pagmamay-ari sa dokumentasyon ng paglipat sa v4.

Sa Crawlee 3.14, maaaring ipares ng ProxyConfiguration ang isang session identifier sa isang napiling proxy URL:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

Ang listahan ng HTTP proxy ay nagbibigay ng mga pampublikong kandidato para sa proxyUrls. Ang mga paulit-ulit na tawag na may parehong session ID ay nagbabalik ng nakapares na URL. Kung walang session ID, umiikot nang sunud-sunod ang ibinigay na listahan. Pinipili nito ang isang naka-configure na endpoint; ang upstream na serbisyo na nagpapaikot ng mga labasan sa likod ng isang URL ay kinokontrol pa rin ang sarili nitong pag-uugali sa labasan.

Para sa mga session na pinamamahalaan ng crawler, gamitin ang session pool ng crawler at ang kaayusan sa pag-iimbak ng cookie. Ang pagbaba ng maxConcurrency sa isa ay hindi kapalit ng pagtukoy kung aling mga kahilingan ang kabilang sa parehong session.

Ang pag-retiro ng isang session ay lumilikha ng bagong hangganan ng pagkakakilanlan. Panatilihing magkakatugma ang ruta, cookies at estado ng workload nito sa halip na paikutin lamang ang isang field habang nag-log in o sa isang operasyong may maraming hakbang.

Mahalaga ang major version. Tinatanggal ng dokumentasyon ng paglipat ng Crawlee sa v4 ang sessionId argument mula sa newUrl at inililipat ang pagpapares ng proxy sa pagmamay-ari ng Session. Sadyang ginagamit ng halimbawa sa itaas ang v3 interface; huwag kopyahin ang argument nito sa ibang major version nang hindi inaangkop ang lifecycle na iyon.

Kaugnay na mga artikulo