“`html

از صفر تا صد: ساخت یک وب اسکرپر ساده و کارآمد با پایتون

در دنیای امروز، داده‌ها پادشاهی می‌کنند. استخراج اطلاعات ارزشمند از وب‌سایت‌ها، که به عنوان وب اسکرپینگ (Web Scraping) شناخته می‌شود، به ابزاری حیاتی برای بسیاری از مشاغل و محققان تبدیل شده است. از جمع‌آوری داده‌های قیمت‌گذاری رقبا گرفته تا نظارت بر روندها و استخراج اخبار، وب اسکرپینگ امکانات بی‌شماری را فراهم می‌کند. در این مقاله جامع، ما به شما نشان خواهیم داد که چگونه با استفاده از پایتون، یک زبان برنامه‌نویسی قدرتمند و انعطاف‌پذیر، یک وب اسکرپر ساده و کارآمد بسازید.

چرا پایتون برای وب اسکرپینگ؟

پایتون به دلایل متعددی به انتخاب اول برای وب اسکرپینگ تبدیل شده است:

• سادگی و خوانایی: پایتون به دلیل نحو (syntax) ساده و خوانایی بالا، یادگیری و استفاده از آن را آسان می‌کند. این امر به شما اجازه می‌دهد تا به سرعت اسکریپت‌های اسکرپینگ خود را توسعه دهید و نگهداری کنید.
• کتابخانه‌های غنی: پایتون دارای کتابخانه‌های قدرتمندی است که به طور خاص برای وب اسکرپینگ طراحی شده‌اند. کتابخانه‌هایی مانند requests برای ارسال درخواست‌های HTTP و Beautiful Soup برای تجزیه HTML و XML، فرآیند اسکرپینگ را بسیار آسان‌تر و سریع‌تر می‌کنند.
• جامعه بزرگ و فعال: پایتون دارای یک جامعه بزرگ و فعال از توسعه‌دهندگان است که به طور مداوم کتابخانه‌ها و ابزارهای جدیدی را توسعه می‌دهند و به سوالات و مشکلات شما پاسخ می‌دهند.
• قابلیت حمل و نقل: پایتون یک زبان چند پلتفرمی است، به این معنی که اسکریپت‌های اسکرپینگ شما می‌توانند بر روی سیستم‌عامل‌های مختلف مانند ویندوز، لینوکس و macOS اجرا شوند.

پیش‌نیازها: نصب پایتون و کتابخانه‌های مورد نیاز

قبل از شروع ساخت وب اسکرپر، مطمئن شوید که پایتون بر روی سیستم شما نصب شده است. می‌توانید آخرین نسخه پایتون را از وب‌سایت رسمی پایتون (python.org) دانلود و نصب کنید.

پس از نصب پایتون، باید کتابخانه‌های requests و Beautiful Soup را نصب کنید. این کار را می‌توانید با استفاده از pip، مدیر بسته پایتون، انجام دهید. ترمینال یا خط فرمان خود را باز کنید و دستورات زیر را اجرا کنید:

pip install requests
pip install beautifulsoup4

این دستورات، آخرین نسخه‌های کتابخانه‌های requests و Beautiful Soup را بر روی سیستم شما نصب می‌کنند.

مراحل ساخت یک وب اسکرپر ساده

اکنون که پایتون و کتابخانه‌های مورد نیاز را نصب کرده‌اید، آماده شروع ساخت وب اسکرپر خود هستید. مراحل اصلی ساخت یک وب اسکرپر به شرح زیر است:

1. ارسال درخواست HTTP: ابتدا باید یک درخواست HTTP به وب‌سایتی که می‌خواهید اسکرپ کنید ارسال کنید. این کار را می‌توانید با استفاده از کتابخانه requests انجام دهید.
2. دریافت پاسخ HTTP: پس از ارسال درخواست، وب‌سرور پاسخ HTTP را به شما برمی‌گرداند. این پاسخ شامل کد وضعیت (status code) و محتوای وب‌سایت (معمولاً HTML) است.
3. تجزیه HTML: محتوای HTML دریافتی باید تجزیه شود تا بتوانید اطلاعات مورد نظر خود را استخراج کنید. برای این کار می‌توانید از کتابخانه Beautiful Soup استفاده کنید.
4. استخراج داده‌ها: پس از تجزیه HTML، می‌توانید داده‌های مورد نظر خود را با استفاده از سلکتورهای CSS یا XPath استخراج کنید.
5. ذخیره داده‌ها: در نهایت، داده‌های استخراج شده را می‌توانید در یک فایل (مانند CSV، JSON یا Excel) یا در یک پایگاه داده ذخیره کنید.

مثال عملی: استخراج عنوان مقالات از یک وبلاگ

بیایید یک مثال عملی را بررسی کنیم. فرض کنید می‌خواهیم عنوان مقالات را از صفحه اصلی یک وبلاگ استخراج کنیم. کد پایتون زیر این کار را انجام می‌دهد:

import requests
from bs4 import BeautifulSoup

# URL وبلاگی که می‌خواهیم اسکرپ کنیم
url = "https://example.com/blog" # جایگزین با آدرس وبلاگ مورد نظر

# ارسال درخواست HTTP و دریافت پاسخ
response = requests.get(url)

# بررسی کد وضعیت
if response.status_code == 200:
    # تجزیه HTML با Beautiful Soup
    soup = BeautifulSoup(response.content, "html.parser")

    # پیدا کردن تگ‌های h2 که حاوی عنوان مقالات هستند (بسته به ساختار وب‌سایت)
    article_titles = soup.find_all("h2", class_="entry-title") #  بسته به ساختار وب‌سایت

    # چاپ عنوان مقالات
    for title in article_titles:
        print(title.text.strip())
else:
    print("خطا در دریافت صفحه. کد وضعیت:", response.status_code)

در این کد:

• ابتدا کتابخانه‌های requests و Beautiful Soup را وارد می‌کنیم.
• سپس URL وبلاگی که می‌خواهیم اسکرپ کنیم را در متغیر url ذخیره می‌کنیم. توجه: حتماً این URL را با آدرس وبلاگ مورد نظر خود جایگزین کنید.
• با استفاده از requests.get(url) یک درخواست HTTP به وبلاگ ارسال می‌کنیم و پاسخ را در متغیر response ذخیره می‌کنیم.
• کد وضعیت پاسخ را بررسی می‌کنیم. اگر کد وضعیت 200 باشد (به این معنی که درخواست با موفقیت انجام شده است)، به مرحله بعد می‌رویم.
• با استفاده از BeautifulSoup(response.content, "html.parser") محتوای HTML پاسخ را تجزیه می‌کنیم و شیء BeautifulSoup را در متغیر soup ذخیره می‌کنیم.
• با استفاده از soup.find_all("h2", class_="entry-title") تمام تگ‌های h2 که دارای کلاس entry-title هستند را پیدا می‌کنیم. این قسمت از کد بسته به ساختار HTML وب‌سایت مورد نظر شما ممکن است تغییر کند. باید با بررسی کد HTML وب‌سایت، تگ و کلاس مناسب را پیدا کنید.
• در نهایت، با استفاده از یک حلقه for، عنوان هر مقاله را چاپ می‌کنیم. title.text.strip() عنوان مقاله را از تگ HTML استخراج می‌کند و فضاهای خالی ابتدا و انتهای آن را حذف می‌کند.

این یک مثال بسیار ساده است، اما اصول اساسی وب اسکرپینگ را نشان می‌دهد. با استفاده از این اصول، می‌توانید اسکریپت‌های پیچیده‌تری را برای استخراج داده‌های مختلف از وب‌سایت‌های مختلف ایجاد کنید.

نکات مهم برای وب اسکرپینگ مسئولانه و اخلاقی

وب اسکرپینگ می‌تواند یک ابزار قدرتمند باشد، اما مهم است که از آن به طور مسئولانه و اخلاقی استفاده کنید. در اینجا چند نکته مهم برای وب اسکرپینگ مسئولانه آورده شده است:

• احترام به فایل robots.txt: هر وب‌سایت یک فایل robots.txt دارد که به ربات‌های وب می‌گوید که کدام صفحات را نباید اسکرپ کنند. قبل از اسکرپ کردن یک وب‌سایت، حتماً فایل robots.txt آن را بررسی کنید و به آن احترام بگذارید. این فایل معمولاً در ریشه وب‌سایت قرار دارد (مثلاً example.com/robots.txt).
• اجتناب از ایجاد بار زیاد بر روی سرور: اسکرپ کردن یک وب‌سایت با سرعت بسیار بالا می‌تواند باعث ایجاد بار زیاد بر روی سرور شود و عملکرد آن را مختل کند. برای جلوگیری از این امر، سرعت اسکرپ کردن خود را محدود کنید و بین درخواست‌ها وقفه ایجاد کنید.
• شناسایی خود به عنوان یک ربات: هنگام ارسال درخواست‌های HTTP، خود را به عنوان یک ربات شناسایی کنید. این کار را می‌توانید با تنظیم هدر User-Agent در درخواست انجام دهید.
• احترام به شرایط استفاده (Terms of Service): قبل از اسکرپ کردن یک وب‌سایت، شرایط استفاده آن را بررسی کنید و مطمئن شوید که اسکرپ کردن مجاز است.
• اجتناب از استخراج اطلاعات شخصی: از استخراج اطلاعات شخصی کاربران (مانند آدرس ایمیل، شماره تلفن و غیره) بدون اجازه آنها خودداری کنید.

بهینه‌سازی وب اسکرپر برای کارایی بیشتر

برای اینکه وب اسکرپر شما کارآمدتر باشد، می‌توانید از تکنیک‌های بهینه‌سازی مختلفی استفاده کنید:

• استفاده از سلکتورهای CSS یا XPath دقیق: هرچه سلکتورهای شما دقیق‌تر باشند، اسکرپر شما سریع‌تر و کارآمدتر خواهد بود.
• استفاده از چندپردازشی (Multiprocessing) یا چندنخی (Multithreading): برای افزایش سرعت اسکرپینگ، می‌توانید از چندپردازشی یا چندنخی استفاده کنید تا چندین درخواست را به طور همزمان ارسال کنید.
• ذخیره نتایج در حافظه پنهان (Cache): برای جلوگیری از ارسال درخواست‌های مکرر به یک وب‌سایت، می‌توانید نتایج اسکرپینگ را در حافظه پنهان ذخیره کنید.
• استفاده از پروکسی (Proxy): برای جلوگیری از مسدود شدن IP شما توسط وب‌سایت، می‌توانید از پروکسی استفاده کنید.
• مدیریت خطاها: برای جلوگیری از متوقف شدن اسکرپر در صورت بروز خطا، باید خطاها را به درستی مدیریت کنید.

مثال: استفاده از Multiprocessing برای افزایش سرعت اسکرپینگ

این مثال نحوه استفاده از multiprocessing برای اسکرپ کردن چندین صفحه به صورت همزمان را نشان می دهد:

import requests
from bs4 import BeautifulSoup
import multiprocessing

def scrape_page(url):
    try:
        response = requests.get(url, timeout=10)
        response.raise_for_status()  # Raise HTTPError for bad responses (4xx or 5xx)

        soup = BeautifulSoup(response.content, "html.parser")
        titles = [title.text.strip() for title in soup.find_all("h2", class_="entry-title")]  # Adjust selector

        return titles
    except requests.exceptions.RequestException as e:
        print(f"Error scraping {url}: {e}")
        return []
    except Exception as e:
        print(f"Unexpected error scraping {url}: {e}")
        return []

if __name__ == "__main__":
    urls_to_scrape = [
        "https://example.com/blog/page1",  # Replace with actual URLs
        "https://example.com/blog/page2",
        "https://example.com/blog/page3",
        "https://example.com/blog/page4",
    ]

    with multiprocessing.Pool(processes=4) as pool:  # Adjust number of processes
        results = pool.map(scrape_page, urls_to_scrape)

    for url, titles in zip(urls_to_scrape, results):
        print(f"Titles from {url}:")
        for title in titles:
            print(f"- {title}")

توضیحات:

• scrape_page(url): این تابع یک URL را می گیرد، آن را اسکرپ می کند، عنوان ها را استخراج می کند و یک لیست برمی گرداند. شامل مدیریت خطاها برای درخواست ناموفق.
• if __name__ == "__main__":: این بلوک کد اطمینان می دهد که کد چندپردازشی تنها زمانی اجرا می شود که اسکریپت مستقیماً اجرا شود.
• urls_to_scrape: یک لیست از URLها برای اسکرپ کردن. مهم: جایگزین با URLهای واقعی مورد نظر.
• multiprocessing.Pool(processes=4): یک استخر از 4 پردازش ایجاد می کند. تعداد فرآیندها را بر اساس هسته CPU و منابع خود تنظیم کنید.
• pool.map(scrape_page, urls_to_scrape): تابع scrape_page را به صورت موازی بر روی هر URL در urls_to_scrape اجرا می کند. pool.map منتظر می ماند تا همه پردازش ها به پایان برسند.
• مدیریت خطا: شامل مدیریت خطا برای درخواست های HTTP ناموفق و خطاهای غیرمنتظره.

ملاحظات مهم:

• تنظیم تعداد پردازش ها: با تعداد فرآیندها آزمایش کنید تا بهترین عملکرد را برای سیستم خود پیدا کنید. تعداد خیلی زیاد می تواند منابع سیستم را تحت فشار قرار دهد.
• امنیت رشته: اطمینان حاصل کنید که کد شما برای چندپردازشی بی خطر است (به ویژه هنگام دسترسی به منابع مشترک). در این مثال، چون هر فرآیند داده های خود را استخراج و برمی گرداند، معمولاً مشکلی وجود ندارد.
• جلوگیری از مسدود شدن: همچنان باید تاخیرها و ملاحظات وب اسکرپینگ مسئولانه را در نظر بگیرید تا از مسدود شدن IP خود جلوگیری کنید. این مثال فقط موازی سازی را نشان می دهد.
• مدیریت خطا: مدیریت قوی خطا برای اطمینان از اینکه اسکرپینگ در صورت بروز مشکل همچنان به درستی کار می کند، ضروری است.

چالش‌های رایج در وب اسکرپینگ و راه‌حل‌های آنها

وب اسکرپینگ می‌تواند با چالش‌های مختلفی همراه باشد. در اینجا چند چالش رایج و راه‌حل‌های آنها آورده شده است:

• تغییر ساختار وب‌سایت: وب‌سایت‌ها به طور مداوم در حال تغییر هستند، که می‌تواند باعث شکستن اسکریپت‌های اسکرپینگ شما شود. برای جلوگیری از این امر، باید اسکریپت‌های خود را به طور منظم بررسی و به‌روزرسانی کنید. همچنین، سعی کنید از سلکتورهای CSS یا XPath انعطاف‌پذیرتری استفاده کنید.
• مسدود شدن IP: وب‌سایت‌ها ممکن است IP شما را مسدود کنند اگر تشخیص دهند که در حال اسکرپ کردن هستند. برای جلوگیری از این امر، می‌توانید از پروکسی استفاده کنید و سرعت اسکرپ کردن خود را محدود کنید.
• CAPTCHA: برخی از وب‌سایت‌ها از CAPTCHA برای جلوگیری از ربات‌ها استفاده می‌کنند. برای حل CAPTCHA، می‌توانید از سرویس‌های CAPTCHA solving استفاده کنید.
• وب‌سایت‌های مبتنی بر جاوااسکریپت: برخی از وب‌سایت‌ها از جاوااسکریپت برای بارگذاری محتوا استفاده می‌کنند. برای اسکرپ کردن این وب‌سایت‌ها، باید از یک مرورگر headless مانند Puppeteer یا Selenium استفاده کنید.

ابزارهای پیشرفته وب اسکرپینگ

علاوه بر کتابخانه‌های requests و Beautiful Soup، ابزارهای پیشرفته‌تری نیز برای وب اسکرپینگ وجود دارند که می‌توانند فرآیند اسکرپینگ را آسان‌تر و کارآمدتر کنند. برخی از این ابزارها عبارتند از:

• Scrapy: یک چارچوب (framework) قدرتمند برای وب اسکرپینگ که امکانات پیشرفته‌ای مانند مدیریت درخواست‌ها، مدیریت داده‌ها و مدیریت خطاها را فراهم می‌کند.
• Selenium: یک ابزار برای اتوماسیون مرورگر که می‌تواند برای اسکرپ کردن وب‌سایت‌های مبتنی بر جاوااسکریپت استفاده شود.
• Puppeteer: یک کتابخانه Node.js که امکان کنترل یک مرورگر headless Chrome یا Chromium را فراهم می‌کند.
• Octoparse: یک ابزار وب اسکرپینگ بصری (visual) که به شما اجازه می‌دهد بدون نیاز به کدنویسی، داده‌ها را از وب‌سایت‌ها استخراج کنید.

جمع‌بندی

در این مقاله، ما به شما نشان دادیم که چگونه با استفاده از پایتون، یک وب اسکرپر ساده و کارآمد بسازید. ما مراحل اصلی ساخت یک وب اسکرپر، نکات مهم برای وب اسکرپینگ مسئولانه و اخلاقی، تکنیک‌های بهینه‌سازی وب اسکرپر و چالش‌های رایج در وب اسکرپینگ را بررسی کردیم. امیدواریم این مقاله به شما کمک کند تا وب اسکرپر خود را بسازید و داده‌های مورد نیاز خود را از وب‌سایت‌ها استخراج کنید.

به یاد داشته باشید که وب اسکرپینگ باید به طور مسئولانه و اخلاقی انجام شود. همیشه به فایل robots.txt وب‌سایت‌ها احترام بگذارید، از ایجاد بار زیاد بر روی سرورها خودداری کنید و از استخراج اطلاعات شخصی کاربران بدون اجازه آنها خودداری کنید.

با تسلط بر مهارت‌های وب اسکرپینگ، می‌توانید به دنیایی از اطلاعات ارزشمند دسترسی پیدا کنید و از آنها برای بهبود کسب‌وکار خود، انجام تحقیقات و غیره استفاده کنید.

“`