تعینات شدہ Scrapy پروجیکٹ میں پراکسی فہرست شامل اور لوڈ کرنا

ترقیاتی کلون کے پاس موجود پراکسی فائل crawler کے تعینات شدہ پیکیج میں خودبخود موجود نہیں ہوتی۔ دو کام ہیں: بائٹس کو تقسیم میں شامل کرنا، پھر انہیں نصب شدہ پیکیج میں تلاش کرنا۔

اپنے Python پیکیج کے اندر crawl_app/resources/proxies.txt رکھنے والے Setuptools پروجیکٹ کے لیے، pyproject.toml اندراج اسے شامل کر سکتا ہے:

[tool.setuptools.package-data]
crawl_app = ["resources/*.txt"]

اسے پروجیکٹ کی موجودہ پیکیج ترتیب کے ساتھ ضم کریں۔ مختلف بلڈ بیک اینڈ کا اپنا ڈیٹا شمولیت انٹرفیس ہوتا ہے۔

endpoint strings استعمال کر سکنے والے middleware کے لیے، Python 3.11+ پیکیج وسیلہ براہ راست پڑھ سکتا ہے:

from importlib.resources import files

text = files('crawl_app').joinpath('resources', 'proxies.txt').read_text(
    encoding='utf-8'
)
proxy_urls = [line.strip() for line in text.splitlines() if line.strip()]

اصل پیکیج نام استعمال کریں اور ریڈر میں متوقع URL فارمیٹ کی توثیق کریں۔ تقسیم کے قابل عوامی endpoint ڈیٹا کے لیے، middleware کے متوقع پروٹوکول اور URL فارمیٹ میں مفت پراکسی فہرست سے پتے استعمال کریں۔ تلاش تعیناتی کی موجودہ ورکنگ ڈائریکٹری پر منحصر نہیں۔

تیسرے فریق کی PROXY_LIST ترتیب کو ان strings کے بجائے فائل سسٹم پاتھ درکار ہو سکتا ہے۔ اس انٹرفیس کے لیے importlib.resources.as_file استعمال کرتے وقت، اس کا سیاق و سباق کھلا رکھیں جب تک middleware کو نکالی گئی فائل درکار ہو۔ سیاق و سباق بند ہونے کے بعد عارضی پاتھ واپس کرنے سے وسیلہ ضائع ہو سکتا ہے۔

اسناد والی پروڈکشن فہرستیں تعیناتی کے لیے مطلوبہ خفیہ یا ترتیب ذخیرے میں رکھیں۔ پیکیج ڈیٹا تقسیم کے قابل endpoint ڈیٹا کے لیے موزوں ہے، یہ فرض نہیں کہ کوڈ کے ساتھ بنڈل شدہ ہر چیز نجی رہتی ہے۔