Спрете безкраен цикъл на ротация на прокси
Дайте на Python пула от проксита краен бюджет от опити и разграничавайте отказите на връзката от отговорите на дестинацията.
Пул от проксита може да превърне просто прекъсване в натоварен цикъл. Изберете адрес, неуспех, изберете друг, отново неуспех. Ако всяка крайна точка е недостъпна, защото собствената ви мрежа е спряна, смяната на адреси никога не отстранява причината.
Дайте на операцията бюджет, преди да изберете първото прокси от пула или от списъка с безплатни проксита: краен брой опити, ограничени изчаквания за връзка и четене и краен срок за цялата задача. Изчакването на Requests управлява документираното му поведение на връзка или четене; то само по себе си не ограничава цикъл, който продължава да издава нови заявки.
Решете какво заслужава още един опит
- Отказана връзка през прокси може да оправдае опит с друга крайна точка.
- Отговорът на дестинацията изисква собствена интерпретация. Получаването на HTTP грешка доказва, че някакъв път на заявката е завършил.
- Неуспехът при удостоверяване на прокси изисква проверка на крайната точка и акаунта, вместо удряне на същите идентификационни данни през растящ списък.
Пазете оригиналното изключение или статус заедно със записа за опита. Финално съобщение само с „всички проксита се провалиха“ скрива дали отказите дори са имали една и съща причина.
Проверката на здравето на всяко прокси преди всяка реална заявка добавя още една заявка и все пак не може да гарантира, че следващата ще успее. Използвайте повторно скорошна информация за здравето, където пасва на задачата, после оставете реалната операция да докладва своя резултат.
Повторен опит може да повтори работата
При заявка само за четене преминаването към друго прокси обикновено е по-просто от повторно изпълнение на подаване. Ако връзката прекъсне след изпращане на покупка или подаване на формуляр, дестинацията може вече да го е обработила. Следвайте механизма за идемпотентност на услугата и правилата за повторни опити на HTTP, преди да повторите работата.
След като бюджетът се изчерпи, върнете полезна грешка. Задача, която спира с доказателства, е по-лесна за поправяне от такава, която тихо продължава да се върти, докато някой не забележи.