وب سایت ها حاوی اطلاعات معنی دار هستند که می توانند تصمیمات درون سازمان شما را مدیریت کنند. بسته Scrapy در Python وب سایت های را برای استخراج محتوای ساخت یافته آماده می کند. در این دوره با scrape کردن محتوای خام از صفحات وب و ذخیره آنها برای استفاده بعدی در فرمت ساخت یافته و معنی دار، نحوه کارکرد Scrapy، نحوه استفاده از selector های CSS و XPath در Scrapy برای انتخاب بخش های مربوطه از هر وب سایت، استفاده از پوسته فرمان Scrapy برای نمونه سازی انتخابگرهایی که می خواهید برای ساختن Spiders استفاده کنید، مفهوم crawl یا خزیدن و غیره آشنا می شوید. این دوره از Scrapy نسخه 1.5 و پایتون 3 استفاده می کند.

سرفصل:

  • معرفی دوره
  • Scraping کردن وب سایت ها با استفاده از Scrapy
  • پیش نیازها
  • معرفی Scrapy
  • نصب و راه اندازی Scrapy
  • crapy Shell
  • انتخابگرها با استفاده از کلاس های CSS
  • انتخابگرها با استفاده از XPath
  • استفاده از عبارات منظم با انتخابگرها
  • استفاده از Spiders برای خزیدن سایت ها
  • معرفی Nested Selectors
  • لاگ کردن
  • نوتیفیکیشن های ایمیل
  • معرفی Broad Crawls
  • اشکال زدایی با استفاده از Telnet
  • و غیره