Crawlee 3 susieja tarpinio serverio URL su sesijos ID

Naudokite Crawlee 3.14 ProxyConfiguration sesijos argumentą stabiliam maršruto pasirinkimui ir atsižvelkite į pasikeitusį nuosavybės modelį v4 migracijos dokumentacijoje.

Crawlee 3.14 versijoje ProxyConfiguration gali susieti sesijos identifikatorių su pasirinktu tarpinio serverio URL:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

HTTP tarpinių serverių sąrašas pateikia viešus kandidatus parametrui proxyUrls. Pakartotiniai kvietimai su tuo pačiu sesijos ID grąžina su juo susietą URL. Be sesijos ID pateiktas sąrašas keičiasi ratu. Tai parenka sukonfigūruotą galinį tašką; priešsrovinė paslauga, kuri keičia išėjimus už vieno URL, vis tiek valdo savo išėjimo elgseną.

Crawler valdomoms sesijoms naudokite crawler sesijų telkinį ir slapukų išsaugojimo tvarką. maxConcurrency sumažinimas iki vieno nepakeičia nustatymo, kurie užklausos priklauso tai pačiai sesijai.

Sesijos išėmimas sukuria naują tapatybės ribą. Išlaikykite jos maršrutą, slapukus ir darbo krūvio būseną nuoseklius, o ne sukite tik vieną lauką prisijungimo ar kelių žingsnių operacijos metu.

Pagrindinė versija svarbi. Crawlee v4 migracijos dokumentacija pašalina sessionId argumentą iš newUrl ir perkelia tarpinio serverio susiejimą į Session nuosavybę. Aukščiau pateiktas pavyzdys sąmoningai naudoja v3 sąsają; nenukopijuokite jo argumento į kitą pagrindinę versiją nepritaikę to gyvavimo ciklo.

Susiję straipsniai