Crawlee 3 parar proxy-URL við lotuauðkenni

Notið lotuargument ProxyConfiguration í Crawlee 3.14 fyrir stöðuga leiðarval og takið tillit til breyttrar eignarhaldsskipanar í v4-flutningsskjölunum.

Í Crawlee 3.14 getur ProxyConfiguration parað lotuauðkenni við valda proxy-URL:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

HTTP-proxylistinn býður opinbera frambjóðendur fyrir proxyUrls. Endurtekin köll með sama lotuauðkenni skila URL-inu sem henni er parað við. Án lotuauðkennis snýst listinn sem gefinn er í hring. Þetta velur stilltan endapunkt; þjónusta ofar í keðjunni sem snýr útgöngum bak við eitt URL stýrir enn eigin útgönguhegðun.

Fyrir lotur sem crawlerinn stýrir skal nota lotupott crawlerins og vistun fótspora. Að lækka maxConcurrency í einn kemur ekki í stað þess að skilgreina hvaða beiðnir tilheyra sömu lotu.

Að taka lotu úr notkun skapar nýja auðkennismörk. Haldið leið hennar, fótsporum og álagsstöðu samkvæmum í stað þess að snúa aðeins einum reit við innskráningu eða margþrepa aðgerð.

Aðalútgáfan skiptir máli. Flutningsskjöl Crawlee til v4 fjarlægja sessionId-argumentið úr newUrl og færa proxy-pörun í eignarhald Session. Dæmið hér að ofan notar v3-viðmótið viljandi; afritið ekki argument þess í aðra aðalútgáfu án þess að aðlaga það lífsferli.

Tengdir greinar