Cuin a bhios tasgadh proxy co-roinnte a' cuideachadh crawler
Measaich goireasan ath-aithriseach, ùrachadh agus fìor-iarrtasan a' chrawler mus dèan thu dùil ri tasgadh forward co-roinnte a' leasachadh trìd.
Cuir an comas gu bheil grunn luchd-obrach ann am brabhsair a' fosgladh duilleagan eadar-dhealaichte bhon aon làrach. Tha na duilleagan sin a' toirt iomradh air an aon duilleag stoidhle, suaicheantas agus pasgan sgriobt. Faodaidh tasgadh forward co-roinnte a' chiad iarrtas a dhèanamh feumail do luchd-obrach nas fhaide air adhart nuair as urrainnear na freagairtean ath-chleachdadh.
Atharraich an t-eallach a-nis: chan eil gach neach-obrach a' luchdachadh ach aon sgrìobhainn HTML agus chan eil e a-riamh a' luchdachadh a ghoireasan ceangailte. Tha an duilleag stoidhle choitcheann fhathast san chomharrachadh, ach chan eil neach-obrach sam bith ga iarraidh. Chan eil i a' cur dad ri ìre bhuail an tasgaidh.
Tòisich leis na h-iarrtasan a tha an crawler agad a' dèanamh dha-rìribh
Bidh brabhsair a tha a' dèanamh duilleag agus cliant HTTP a tha a' faighinn a stòr a' cruthachadh sheataichean iarrtas eadar-dhealaichte. Sgrùd na seataichean sin mus tagh thu dealbhadh tasgaidh.
| Eallach obrach | Comas airson ath-chleachdadh co-roinnte |
|---|---|
| Bidh luchd-obrach a' faighinn nan aon so-mhaoin phoblach a-rithist is a-rithist | Feumail nuair a cheadaicheas riaghailtean ùrachaidh agus iuchair an tasgaidh e |
| Tha URL no caochladh freagairt sònraichte aig gach iarrtas | Glè bheag de dh'fhar-thachair airson ath-chleachdadh |
| Feumaidh freagairt ath-dhearbhadh mus tèid a h-ath-chleachdadh | Faodaidh e bearta freagairt a shàbhaladh ged a tha turas suas fhathast a dhìth |
| Tha luchd-obrach a' coinneachadh ri iarrtasan mu thràth bhon tasgadh ionadail aca fhèin | Is dòcha nach ruig na h-iarrtasan sin an tasgadh co-roinnte idir |
Chan eil co-ionannachd URL leis fhèin a' dol. Poileasaidh ùrachaidh an fhreagairt agus faodaidh raointean a dh'ainmichear le Vary riochdachaidhean a dhealachadh. Feumaidh susbaint phrìobhaideach, nach gabh a stòradh no a tha dearbhte na riaghailtean tasgaidh co-roinnte a tha iomchaidh; cha bu chòir a sparradh ann an aon toradh poblach dìreach gus an àireamh bhuail a thogail.
Airson trafaig àbhaisteach HTTPS CONNECT, bidh an proxy forward a' giùlan tunail chrioptaichte agus chan eil nì HTTP sam bith na broinn ri thasgadh. Tha giùlan earbsa is giollachd eadar-dhealaichte aig cleachdadh le sgrùdadh TLS. Cuir a-steach am modh fìor nuair a mheasaicheas tu a bheil tasgadh nithean ri fhaighinn.
Faodaidh buille tasgaidh tarraing bhon bhun a sheachnadh, fhad 's a tha ionndrainn fhathast a' pàigheadh airson obair an eadar-mheadhanaich. Coimeas bearta feumail crìochnaichte, trafaig suas agus dàil airson an eallach a tha san amharc. Tha an àireamh shnàithean a' toirt cunntas air co-aontachd; chan eil e a' toirt cunntas air na tha de shusbaint ath-chleachdaich a tha na snàithean sin a' roinn.