Scrapy AutoThrottle fia in proxy: slots en latinsje
Hâld de downloadslots fan 'e doelside los fan proxy-rûtes en ynterpretearje latinsje as it waarnommen oanfraachpaad.
Standert jout Scrapy downloadslots op basis fan it domein fan 'e oanfraach-URL. In oanfraach in HTTP-proxy jaan feroaret dy URL net yn 'e hostnamme fan 'e proxy. Oanfragen nei ferskate siden kinne dêrom ferskate slots hâlde wylst se ien tuskenpersoan diele.
AutoThrottle past de fertraging fan elk slot oan mei de waarnommen downloadlatinsje. De standert per-domein gearfieringslimyt en de minimale downloadfertraging jilde noch.
Kontrolearje de groepearring foardat jo it algoritme feroarje
In oanpaste middleware kin request.meta["download_slot"] tawize, wêrmei't de normale slotkar oerskreaun wurdt. Guon proxy-útwreidings brûke har eigen groepearring. Besjoch dy ynstellingen as net-relatearre siden ien beheinder lykje te dielen.
Omkeard kin it tawizen fan in oar slot foar elke proxy meardere proxy's tagelyk itselde doel kontaktje litte. Dat kin in limyt foar de hiele side ûndermine dy't de crawler respektearje moast. Kies de slotkaai neffens de beskoattele boarne.
De fertraging omfettet it paad dat jo brûkten
Scrapy mjit latinsje fan it ferstjoeren fan 'e oanfraach oant it ûntfangen fan HTTP-kopteksten. In oanfraach dy't troch in proxy giet, kin de wachtrige- en troerstjoerfertraging fan 'e tuskenpersoan yn dy waarnimming opnimme. AutoThrottle krijt gjin aparte ferwurkingstiid allinnich fan 'e oarsprong.
It ferheegjen fan gearfiering kin dy mjitting de side net isolearje litte. Hâld doelhoflikheid en proxykapasiteit as aparte limiten as beide fan belang binne. In dielde proxy hat miskien in ekstra gearfieringsbudzjet oer doelslots nedich, wylst elk doel syn eigen taryfbelied hâldt.