Crawlee 3 inaoanisha URL ya proksi na kitambulisho cha kipindi

Tumia hoja ya kipindi ya ProxyConfiguration katika Crawlee 3.14 kwa uchaguzi thabiti wa njia, na zingatia mfumo uliobadilika wa umiliki katika hati za uhamishaji wa v4.

Katika Crawlee 3.14, ProxyConfiguration inaweza kuoanisha kitambulisho cha kipindi na URL ya proksi iliyochaguliwa:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

Orodha ya proksi za HTTP hutoa wagombea wa umma kwa proxyUrls. Simu zinazorudiwa na kitambulisho kimoja cha kipindi hurudisha URL iliyoanishwa nayo. Bila kitambulisho cha kipindi, orodha iliyotolewa huzunguka kwa zamu. Hii huchagua kituo cha mwisho kilichosanidiwa; huduma ya juu inayozungusha njia za kutoka nyuma ya URL moja bado inadhibiti tabia yake ya kutoka.

Kwa vipindi vinavyosimamiwa na crawler, tumia bwawa la vipindi la crawler na mpangilio wa kuhifadhi vidakuzi. Kupunguza maxConcurrency hadi moja si mbadala wa kubainisha maombi yapi ni ya kipindi kimoja.

Kustaafisha kipindi huunda mpaka mpya wa utambulisho. Weka njia yake, vidakuzi na hali ya mzigo wa kazi zikiwa sawa badala ya kuzungusha sehemu moja tu wakati wa kuingia au operesheni ya hatua nyingi.

Toleo kuu ni muhimu. Hati za uhamishaji za Crawlee kwenda v4 huondoa hoja ya sessionId kutoka newUrl na kuhamisha uoanishaji wa proksi kwenda umiliki wa Session. Mfano ulio juu unatumia kwa makusudi kiolesura cha v3; usinakili hoja yake kwenda toleo lingine kuu bila kubadilisha mzunguko huo wa maisha.

Makala zinazohusiana