តើប្រូកស៊ីខាងមុខអនុវត្ត robots.txt សម្រាប់ crawler ឬ?

ការផ្តល់ប្រូកស៊ី HTTP ដល់ crawler ផ្លាស់ប្តូររបៀបដែលសំណើរបស់វាទៅដល់គេហទំព័រ។ ប៉ុន្តែវាមិនធ្វើឱ្យប្រូកស៊ីទាញយក robots.txt ជ្រើសក្រុមច្បាប់របស់ crawler ឬកំណត់កាលវិភាគសំណើរបស់វាដោយសុភាពនោះទេ។

Robots Exclusion Protocol ពិពណ៌នាច្បាប់សម្រាប់ crawler។ វារួមមានការផ្គូផ្គង ការបរាជ័យក្នុងការទាញយក ការប្តូរទិស និងឥរិយាបថនៃឃ្លាំងសម្ងាត់។ ប្រូកស៊ីដែលគ្រាន់តែបញ្ជូនឯកសារដែលស្នើសុំបន្ត មិនបានអនុវត្តគោលនយោបាយនោះជំនួស crawler ទេ។

រក្សាការសម្រេចច្បាប់ឱ្យជិតជួរសំណើរបស់ crawler។ នៅទីនោះ អត្តសញ្ញាណដែលចង់បាន URI គោលដៅ និងស្ថានភាពកាលវិភាគមានជាស្រេចមុនពេលផ្ញើការងារ។

ហេតុអ្វីការចម្រោះនៅខាងប្រូកស៊ីពិបាកជាងដែលឮ

សម្រាប់ HTTP ធម្មតា តម្រងដែលសាងសង់ពិសេសអាចមើលឃើញផ្លូវគោលដៅ និង User-Agent។ ប៉ុន្តែវានៅតែត្រូវការការអនុវត្តច្បាប់ពិតប្រាកដ និងគោលនយោបាយកំណត់សម្រាប់ការទាញយក ការដាក់ក្នុងឃ្លាំង និងការធ្វើបច្ចុប្បន្នភាពឯកសារ robots ដែលពាក់ព័ន្ធ។ ការបំប្លែងបន្ទាត់ Disallow ពីរបីទៅជាប្លុកអាសយដ្ឋានថេរ មិនមែនជាពិធីការពេញលេញទេ។

សម្រាប់ HTTPS តាមរយៈ CONNECT ធម្មតា ប្រូកស៊ីខាងមុខមើលឃើញគោលដៅរូងក្រោមដី មិនមែនផ្លូវនៃទំព័រដែលបានអ៊ិនគ្រីបនីមួយៗ និង User-Agent ខាងក្នុងទេ។ វាខ្វះព័ត៌មានចាំបាច់សម្រាប់ការសម្រេច robots កម្រិតផ្លូវ លុះត្រាតែការរៀបចំដោយចេតនាផ្សេងទៀតផ្តល់ឱ្យ។

ការប្តូរអាសយដ្ឋានចេញក៏មិនធ្វើឱ្យផ្លូវត្រូវហាមឃាត់ក្លាយជាផ្លូវអនុញ្ញាតដែរ។ សម្របសម្រួលល្បឿនក្នុងចំណោមកម្មករដែលចែករំលែកសកម្មភាពរបស់ crawler; ការបង្វិលផ្លូវមិនមែនជាការជំនួសគោលនយោបាយនោះទេ។

ចុងក្រោយ ច្បាប់ robots មិនមែនជាការអនុញ្ញាតចូលប្រើទេ។ ផ្លូវដែលអនុញ្ញាតមិនជំនួសការផ្ទៀងផ្ទាត់ ឬលក្ខខណ្ឌចូលប្រើផ្សេងទៀតរបស់គេហទំព័រទេ ហើយឯកសារ robots សាធារណៈមិនការពារមាតិកាឯកជនទេ។