ഒരു ഫോർവേഡ് പ്രോക്സി ക്രോളറിനായി robots.txt നടപ്പിലാക്കുന്നുണ്ടോ?

ഒരു ക്രോളറിന് HTTP പ്രോക്സി നൽകുന്നത് അതിന്റെ അഭ്യർത്ഥനകൾ വെബ്സൈറ്റിൽ എത്തുന്ന വിധം മാറ്റുന്നു. എന്നാൽ പ്രോക്സി robots.txt കൊണ്ടുവരികയോ ക്രോളറിന്റെ നിയമ-ഗ്രൂപ്പ് തിരഞ്ഞെടുക്കുകയോ അതിന്റെ അഭ്യർത്ഥനകൾ മര്യാദയോടെ ഷെഡ്യൂൾ ചെയ്യുകയോ ഇല്ല.

Robots Exclusion Protocol ക്രോളറുകൾക്കുള്ള നിയമങ്ങൾ വിവരിക്കുന്നു. പൊരുത്തം, കൊണ്ടുവരുന്നതിലെ പരാജയങ്ങൾ, റീഡയറക്ടുകൾ, കാഷെയുടെ സ്വഭാവം എന്നിവ ഇതിൽ ഉൾപ്പെടുന്നു. അഭ്യർത്ഥിച്ച രേഖ മാത്രം കൈമാറുന്ന പ്രോക്സി ആ നയം ക്രോളറിനുവേണ്ടി നടപ്പിലാക്കിയിട്ടില്ല.

നിയമങ്ങളുടെ തീരുമാനം ക്രോളറിന്റെ അഭ്യർത്ഥനാ ക്യൂവിന് അടുത്ത് സൂക്ഷിക്കുക. ജോലി അയയ്ക്കുന്നതിന് മുമ്പ് ഉദ്ദേശിച്ച ഐഡന്റിറ്റി, ലക്ഷ്യ URI, ഷെഡ്യൂളിംഗ് അവസ്ഥ എന്നിവ ലഭ്യമാകുന്നത് അവിടെയാണ്.

പ്രോക്സി ഭാഗത്ത് ഫിൽട്ടർ ചെയ്യുന്നത് കേൾക്കുന്നത്ര എളുപ്പമല്ലാത്തത് എന്തുകൊണ്ട്

സാധാരണ HTTP-യിൽ, പ്രത്യേകം നിർമ്മിച്ച ഫിൽട്ടറിന് ലക്ഷ്യ പാതയും User-Agent-ഉം കാണാം. എന്നാലും അതിന് യഥാർത്ഥ നിയമ നടപ്പാക്കലും, ബാധകമായ robots ഫയൽ കൊണ്ടുവരിക, കാഷെ ചെയ്യുക, പുതുക്കുക എന്നിവയ്ക്ക് നിർവചിച്ച നയവും വേണം. കുറച്ച് Disallow വരികൾ സ്ഥിരമായ വിലാസ തടയലുകളാക്കി മാറ്റുന്നത് പൂർണ്ണ പ്രോട്ടോക്കോളല്ല.

സാധാരണ CONNECT വഴിയുള്ള HTTPS-ൽ, ഫോർവേഡ് പ്രോക്സി ടണലിന്റെ ലക്ഷ്യം കാണുന്നു, ഓരോ എൻക്രിപ്റ്റ് ചെയ്ത പേജിന്റെ പാതയും ആന്തരിക User-Agent-ഉം അല്ല. മറ്റൊരു ബോധപൂർവമായ ക്രമീകരണം നൽകുന്നില്ലെങ്കിൽ, പാതാ തലത്തിലുള്ള robots തീരുമാനങ്ങൾക്ക് വേണ്ട വിവരം അതിനില്ല.

പുറത്തേക്കുള്ള വിലാസം മാറ്റുന്നതും വിലക്കപ്പെട്ട പാതയെ അനുവദനീയമാക്കുന്നില്ല. ക്രോളറിന്റെ പ്രവർത്തനം പങ്കിടുന്ന തൊഴിലാളികൾക്കിടയിൽ വേഗത ഏകോപിപ്പിക്കുക; പാതകൾ കറക്കുന്നത് ആ നയത്തിന് പകരമല്ല.

അവസാനം, robots നിയമങ്ങൾ പ്രവേശന അനുമതിയല്ല. അനുവദനീയമായ പാത പ്രാമാണീകരണത്തെയോ സൈറ്റിന്റെ മറ്റ് പ്രവേശന ആവശ്യകതകളെയോ മറികടക്കുന്നില്ല, സാർവ്വജനിക robots ഫയൽ സ്വകാര്യ ഉള്ളടക്കം സുരക്ഷിതമാക്കുന്നുമില്ല.