Learning_Scrapy

Scrapy چیست؟

فریمورک Scrapy یک ابزار قدرتمند برای استخراج داده از وب می باشد. با استفاده از Scrapy می توانید هر نوع اطلاعات را از سایت های مختلف استخراج کرده و در پایگاه داده خود ذخیره فرمایید. برای مثال می توانید کتاب های یک کتابخانه یا عکس های یک گالری و یا اطلاعات ویکی پدیا را استخراج کنید.

این فریمورک سریع با زبان برنامه نویسی پایتون نوشته شده است که به راحتی قابل گسترش، متن باز و رایگان، چندسکویی بوده و دارای قابلیت های گوناگون است.

برای استخراج داده از Beautiful Soup هم می توانید استفاده کنید. البته Scrapy امکانات بیشتری را در اختیار شما می گذارد.

در این دوره با استخراج داده یا چندین آیتم از صفحات وب و صفحات جاوااسکریپت، مفاهیمی از قبیل ایجاد Scrapy Spiders و اجرای آنها در ابر و submit کردن فرم ها در آنها و غیره آشنا می شوید.

ایجاد اسپایدر با Scrapy 

در این ویدیو، شما یاد خواهید گرفت که چگونه با استفاده از selectors یک اسپایدر Scrapy ایجاد کنید. Spider چیزی جز یک کلاس پایتون نیست که شما تعریف می کنید و Scrapy از آن استفاده می کند تا اطلاعات وب سایت (یا گروهی از وبسایت ها) را استخراج کند.

 

دنبال کردن لینک های صفحه بندی با Scrapy 

 

شروع کار با Web Scraping با استفاده از Scrapy

 

اجرای اسپایدرهای Scrapy در Cloud

 

استخراج جزئیات صفحات از لیست ها

 

استخراج صفحات اسکرولینگ نامحدود

 

استخراج صفحات جاوااسکریپت با Scrapy و Splash

 

استخراج چندین آیتم از یک صفحه

 

Submit کردن فرم ها در Scrapy Spiders