Chunguza muda wa mwisho wa proksi ya Puppeteer kwa ombi na hatua ya ukurasa

Tumia requestfailed kwa hitilafu za mtandao na hali ya HTTPResponse kwa majibu ya seva kabla ya kulaumu proksi kwa urambazaji wa polepole wa ukurasa mzima.

Jibu la haraka kutoka curl au Axios kwa kawaida ni rasilimali moja. Puppeteer pia inaweza kuleta hati, picha, fremu na API kutoka kwa mwenyeji kadhaa, kisha kusubiri hatua ya baadaye ya ukurasa.

Kwa kuwa proksi tayari imesanidiwa kwenye ukurasa uliopo, angalia hitilafu za kila moja wakati wa urambazaji:

page.on("requestfailed", request => {
  console.log(request.url(), request.failure()?.errorText);
});

await page.goto(targetUrl, {
  waitUntil: "domcontentloaded",
  timeout: 30000,
});

Endesha hii katika mtiririko wa async ukitumia targetUrl halisi. Mfano unasubiri DOMContentLoaded, ambayo hutokea kabla ya kukamilika kwa kila picha inayohitajika au jibu la baadaye la programu. Linganisha hatua hiyo na ile ambayo urambazaji wa awali ulisubiri: hati kuu, DOM, load au utulivu wa mtandao ni matokeo tofauti.

Jibu la 403 au 500 si tukio la requestfailed. Soma hali kupitia HTTPResponse pia.

Tumia uchunguzi kutambua rasilimali ya polepole au iliyokataliwa, uthibitishaji unaorudiwa au sharti la kusubiri la baadaye. Muda mrefu wa mwisho huongeza muda wa kusubiri tu; haupunguzi kazi ya kivinjari na hauthibitishi kuwa kila muunganisho wa rasilimali ulikubaliwa.

Makala zinazohusiana