A bheil proxy adhartach a' cur robots.txt an sàs airson crawler?
Cùm am poileasaidh robots sa chrawler agus tuig crìochan a chur an sàs ann am proxy adhartach.
Tha toirt proxy HTTP do chrawler ag atharrachadh mar a ruigeas a chuid iarrtasan an làrach-lìn. Chan eil e a' toirt air a' phroxy robots.txt fhaighinn, buidheann riaghailtean a' chrawler a thaghadh no a chuid iarrtasan a chlàradh gu modhail.
Tha an Robots Exclusion Protocol ag innse riaghailtean dha crawlers. Tha e a' gabhail a-steach maidsidheachd, fàilligidhean tarraing, ath-stiùireadh agus giùlan an tasgaidh. Chan eil proxy nach dèan ach an sgrìobhainn a chaidh iarraidh a chur air adhart air am poileasaidh sin a chur an sàs às leth a' chrawler.
Cùm a' cho-dhùnadh mu na riaghailtean faisg air ciudhe iarrtasan a' chrawler. 'S ann an sin a tha an dearbh-aithne san amharc, an URI targaid agus staid a' chlàraidh rim faighinn mus tèid obair a chur.
Carson a tha criathrag air taobh a' phroxy nas duilghe na tha e a' faireachdainn
Le HTTP sìmplidh, faodaidh criathrag a chaidh a thogail gu sònraichte an t-slighe targaid agus an User-Agent fhaicinn. Feumaidh e fhathast fìor bhuileachadh riaghailtean agus poileasaidh sònraichte airson am faidhle robots buntainneach fhaighinn, a thasgadh agus ùrachadh. Chan e tionndadh beagan loidhnichean Disallow gu blocaichean seòlaidh staitigeach an protocol slàn.
Le HTTPS tro CONNECT àbhaisteach, chì am proxy adhartach ceann-uidhe an tunaile seach slighe gach duilleig chrioptaichte agus an User-Agent a-staigh. Chan eil am fiosrachadh aige a dh'fheumar airson co-dhùnaidhean robots aig ìre slighe mura toir rèiteachadh eile a dh'aona ghnothaich e.
Chan eil atharrachadh an t-seòlaidh a-muigh a' tionndadh slighe toirmisgte gu slighe ceadaichte nas motha. Co-òrdanaich an astar am measg luchd-obrach a tha a' roinn gnìomhachd a' chrawler; chan eil cuairteachadh shlighean a' dol an àite a' phoileasaidh sin.
Mu dheireadh, chan e ùghdarras ruigsinneachd a th' ann an riaghailtean robots. Chan eil slighe ceadaichte a' dol thairis air dearbhadh no air riatanasan ruigsinneachd eile na làraich, agus chan eil faidhle robots poblach a' dìon susbaint phrìobhaideach.