Scrapy හි ප්‍රොක්සි අන්ත ලක්ෂ්‍යය සහ සම්බන්ධතා IP කියවීම
තෝරාගත් ප්‍රොක්සිය සඳහා ඉල්ලීමේ මෙටාදත්ත භාවිත කරන්න, response.ip_address හැන්ඩ්ලරය ලබා දෙන පීර තොරතුරු ලෙස සලකන්න, සහ ගමනාන්තයේදී පිටවන IP සත්‍යාපනය කරන්න.
තෝරාගත් මාර්ගය පරීක්ෂා කිරීමට, සම්පූර්ණ වූ ප්‍රතිචාරයට සම්බන්ධ Request භාවිත කරන්න. නිරීක්ෂණ තුන වෙන් වෙන්ව තබා ගන්න:
| ක්ෂේත්‍රය | අර්ථය |
|---|---|
response.request.meta.get('proxy') | මෙම ඉල්ලීමේ තෝරාගත් ප්‍රොක්සි URL, ඇති විට |
response.ip_address | බාගැනීම් හැන්ඩ්ලරය ලබා දෙන ලිපිනය, None විය හැක |
| විශ්වාසනීය ගමනාන්තයක මූලාශ්‍ර වාර්තාව | එහි නිරීක්ෂණය කළ පොදු මූලාශ්‍රය |
කෝල්බැක් තුළ, අක්තපත්‍ර සහිත URL කොටස් සාමාන්‍ය රෝග විනිශ්චයෙන් ඉවත් කරන්න:
from urllib.parse import urlsplit
proxy = response.request.meta.get('proxy')
proxy_host = urlsplit(proxy).hostname if proxy else None
self.logger.info(
'target_host=%s proxy_host=%s peer_ip=%s',
urlsplit(response.url).hostname, proxy_host, response.ip_address,
)Scrapy 2.13.3 හි HTTP/1.1 හැන්ඩ්ලරයේ ලිපිනය පැමිණෙන්නේ ප්‍රතිචාරයේ සම්බන්ධතා පීරයෙන් මිස පිටවන IP සේවාවකින් නොවේ. සමහර මාර්ග, ශුන්‍ය දිග ප්‍රතිචාර ඇතුළුව, එය None ලෙස තැබිය හැක. වෙනත් හැන්ඩ්ලර් එය වෙනස් ලෙස පිරවිය හැක. None පමණින් සෘජු මාර්ගගත කිරීම ඔප්පු නොවේ.
පිටවීම පරීක්ෂාවක් සඳහා, අපේක්ෂිත ප්‍රොක්සි ප්‍රතිපත්තිය යටතේ විශ්වාසනීය අන්ත ලක්ෂ්‍යයකින් විමසන්න සහ ඉල්ලීමේ අනන්‍යතාව නිරීක්ෂණය සමඟ තබා ගන්න. භ්‍රමණය වන මිඩ්ල්වෙයාර් පසු පරීක්ෂාවකට වෙනත් අන්ත ලක්ෂ්‍යයක් ලබා දිය හැක.
නැවත යොමු කිරීම් ද තවත් ඉල්ලීමක් සාදයි. අවසාන මෙටාදත්ත එම අදියර විස්තර කරයි; පළමු URL හි මාර්ගයට සාක්ෂියක් ලෙස සැලකීම වෙනුවට නැවත යොමු ඉතිහාසය සහ මිඩ්ල්වෙයාර් විසින් කරන ඕනෑම නැවත තේරීමක් පරීක්ෂා කරන්න.