Déan diagnóis ar amaicmí proxy Puppeteer de réir iarratais agus garsprioc leathanaigh

Úsáid requestfailed le haghaidh teipeanna líonra agus stádas HTTPResponse le haghaidh freagraí freastalaí sula gcuireann tú an milleán ar sheachfhreastalaí as nascleanúint mhall ar an leathanach iomlán.

Is iondúil gur aon acmhainn amháin a bhíonn i bhfreagra tapa ó curl nó Axios. Is féidir le Puppeteer scripteanna, íomhánna, frámaí agus APIanna a fháil ó roinnt óstach freisin, agus fanacht le garsprioc leathanaigh níos déanaí.

Ós rud é go bhfuil an proxy cumraithe cheana ar an leathanach atá ann, breathnaigh ar theipeanna aonair le linn na nascleanúna:

page.on("requestfailed", request => {
  console.log(request.url(), request.failure()?.errorText);
});

await page.goto(targetUrl, {
  waitUntil: "domcontentloaded",
  timeout: 30000,
});

Rith é seo sa sreabhadh async leis an targetUrl fíor. Fanann an sampla le DOMContentLoaded, rud a tharlaíonn níos luaithe ná críochnú gach íomhá riachtanach nó freagra feidhmchláir níos déanaí. Cuir an gharsprioc sin i gcomparáid leis an gceann a raibh an nascleanúint bhunaidh ag fanacht leis: is torthaí éagsúla iad príomhdhoiciméad, DOM, load nó ciúnas líonra.

Freagra 403 nó 500 ní heachtra requestfailed é. Léigh an stádas trí HTTPResponse freisin.

Úsáid na breathnuithe chun acmhainn mhall nó diúltaithe, fíordheimhniú athchleachtach nó coinníoll feithimh níos déanaí a aithint. Ní dhéanann amaicme níos faide ach an feitheamh a shíneadh; ní laghdaíonn sé obair an bhrabhsálaí agus ní chruthaíonn sé go bhfuil gach nasc acmhainne glactha.

Ailt ghaolmhara