Scrapy AutoThrottle deur 'n proxy: slots en latensie
Hou die teikenwebwerf se aflaaislotte apart van proxyroetes en interpreteer latensie as die waargeneemde versoekpad.
Standaard ken Scrapy aflaaislotte toe op grond van die domein van die versoek-URL. Om 'n versoek van 'n HTTP-proxy te voorsien verander nie daardie URL in die proxy se gasheernaam nie. Versoeke na verskillende werwe kan dus verskillende slotte behou terwyl hulle een tussenganger deel.
AutoThrottle pas elke slot se vertraging aan met behulp van waargenome aflaaislatensie. Die standaard per-domein gelyktydigheidsperk en minimum aflaaisvertraging geld steeds.
Kontroleer groepering voordat jy die algoritme verander
'n Pasgemaakte middleware kan request.meta["download_slot"] toewys, wat die normale slotkeuse oorheers. Sommige proxy-uitbreidings gebruik hul eie groepering. Ondersoek daardie instellings as onverwante werwe blyk om een beperker te deel.
Omgekeerd kan die toewysing van 'n ander slot vir elke proxy meerdere proxy's terselfdertyd dieselfde teiken laat kontak. Dit kan 'n werfdekkende perk verydel wat die kruiper bedoel was om te respekteer. Kies die slotseutel volgens die hulpbron wat beskerm word.
Die vertraging sluit die pad in wat jy gebruik het
Scrapy meet latensie vanaf die stuur van die versoek tot die ontvang van HTTP-opskrifte. 'n Versoek wat deur 'n proxy gedra word, kan die tussenganger se toustaan- en aanstuurvertraging by daardie waarneming insluit. AutoThrottle verkry nie 'n aparte verwerkingstyd wat slegs die oorsprong dek nie.
Die verhoging van gelyktydigheid kan nie daardie meting die webwerf laat isoleer nie. Hou teikenbeleefdheid en proxykapasiteit as aparte perke wanneer albei saak maak. 'n Gedeelde proxy het dalk 'n bykomende gelyktydigheidsbegroting oor teikenslotte nodig, terwyl elke teiken steeds sy eie tempo-beleid behou.