آموزش Apache Spark

معرفی Apache Spark

Apache Spark یک فریمورک منبع باز پردازش داده بزرگ است که بر اساس سرعت، سهولت استفاده و تجزیه و تحلیل پیچیده ساخته شده است.

در ابتدا در سال 2009 در آزمایشگاه AMPLab شهر UC Berkeley توسعه داده شد و در سال 2010 به عنوان یک پروژه منبع باز آپاچی منتشر شد.

Spark دارای مزایای متعددی نسبت به سایر داده های بزرگ و تکنولوژی MapReduce مانند Hadoop و Storm دارد.

اول از همه، Spark به ما یک فریمورک جامع و یکپارچه برای مدیریت نیازهای پردازش داده های بزرگ با مجموعه های مختلف داده های متنوع (داده های متنی، نمودار داده ها و غیره) و نیز منبع داده را ارائه می دهد.

Spark برنامه های Cluster های هدوپ را قادر می سازد تا تا 100 برابر سریعتر در حافظه و 10 برابر سریعتر حتی در هنگام اجرای روی دیسک اجرا شود.

Spark این امکان را فراهم می کند تا سریعا برنامه های کاربردی را در جاوا، اسکالا یا پایتون بنویسید. این فریمورک دارای بیش از 80 اپراتور سطح بالا است. شما می توانید آن را به صورت تعاملی برای پرس و جوی داده های درون پوسته استفاده کنید.

علاوه بر نقشه و کاهش عملیات، از پرس و جوهای SQL، جریان داده ها، یادگیری ماشینی و پردازش داده های گرافیکی پشتیبانی می کند.

ویژگی های Apache Spark

  • بهینه سازی مراحل جریان پردازش داده ها
  • ذخیره سازی زیاد داده در حافظه
  • پشتیبانی از نقشه و کاهش عملکرد
  • بهینه سازی نمودارهای اپراتور دلخواه
  • ارائه ی API های مختصر و سازگار در Scala، Java و Python
  • ارائه ی پوسته تعاملی برای Scala و Python

Spark با زبان برنامه نویسی Scala نوشته شده است و در محیط ماشین مجازی جاوا (JVM) اجرا می شود. در حال حاضر از زبان های زیر برای توسعه برنامه های کاربردی پشتیبانی می کند:

  • Scala
  • Java
  • Python
  • Clojure
  • R

به غیر از Spark Core API، کتابخانه های اضافی وجود دارند که بخشی از اکوسیستم Spark هستند و قابلیت های اضافی در زمینه تجزیه و تحلیل داده های بزرگ و حوزه های یادگیری ماشینی را فراهم می کند.

  • Spark Streaming
  • Spark SQL
  • Spark MLlib
  • Spark GraphX
  • BlinkDB
  • Tachyon
  • آموزش Apache Spark – نکات، ترفند ها و تکنیک ها

آموزش Apache Spark – نکات، ترفند ها و تکنیک ها

دوشنبه ۰۸ بهمن ۱۳۹۷ - ساعت ۱۷:۰۰
  • عیب یابی Apache Spark

عیب یابی Apache Spark

دوشنبه ۲۴ دی ۱۳۹۷ - ساعت ۱۴:۰۰
  • آموزش Apache Spark Streaming با پایتون و PySpark

آموزش Apache Spark Streaming با پایتون و PySpark

جمعه ۱۸ آبان ۱۳۹۷ - ساعت ۱۳:۰۰
  • آموزش ایجاد REST API در Spark

آموزش ایجاد REST API در Spark

یکشنبه ۲۲ مهر ۱۳۹۷ - ساعت ۱۲:۰۰
  • آموزش پروژه های تحلیل کلان داده با Apache Spark

آموزش پروژه های تحلیل کلان داده با Apache Spark

یکشنبه ۰۸ مهر ۱۳۹۷ - ساعت ۰۸:۰۰
  • دوره شروع کار با فریمورک Spark 2

دوره شروع کار با فریمورک Spark 2

دوشنبه ۱۲ شهریور ۱۳۹۷ - ساعت ۱۷:۰۰
  • آموزش ایجاد مدل های یادگیری ماشینی در Spark 2

آموزش ایجاد مدل های یادگیری ماشینی در Spark 2

شنبه ۱۰ شهریور ۱۳۹۷ - ساعت ۲۱:۰۰
  • آموزش تحلیل و پردازش داده در زمان واقعی با Apache Spark

آموزش تحلیل و پردازش داده در زمان واقعی با Apache Spark

یکشنبه ۰۴ شهریور ۱۳۹۷ - ساعت ۱۵:۰۰
  • آشنایی با توسعه وب جاوا با Spark 

آشنایی با توسعه وب جاوا با Spark 

یکشنبه ۲۴ تیر ۱۳۹۷ - ساعت ۱۲:۰۰
  • آموزش Cisco Spark

آموزش Cisco Spark

دوشنبه ۱۱ تیر ۱۳۹۷ - ساعت ۰۸:۰۰
  • آموزش توسعه اپلیکیشن های Spark با Scala و Cloudera

آموزش توسعه اپلیکیشن های Spark با Scala و Cloudera

جمعه ۲۵ خرداد ۱۳۹۷ - ساعت ۱۷:۰۰
  • آموزش Apache Spark با Python – کلان داده با PySpark و Spark 

آموزش Apache Spark با Python – کلان داده با PySpark و Spark 

پنج شنبه ۰۳ خرداد ۱۳۹۷ - ساعت ۰۲:۰۰
  • آموزش Apache Spark با Scala – یادگیری Spark از Big Data Guru

آموزش Apache Spark با Scala – یادگیری Spark از Big Data Guru

چهارشنبه ۲۶ اردیبهشت ۱۳۹۷ - ساعت ۰۴:۰۰
  • آموزش Apache Spark با Java – یادگیری Spark از Big Data Guru

آموزش Apache Spark با Java – یادگیری Spark از Big Data Guru

پنج شنبه ۲۰ اردیبهشت ۱۳۹۷ - ساعت ۱۶:۰۰
  • آموزش خوشه بندی (Clustering) با Spark ML

آموزش خوشه بندی (Clustering) با Spark ML

یکشنبه ۲۷ اسفند ۱۳۹۶ - ساعت ۲۲:۰۰
  • آموزش ابزارهای هوش تجاری و Spark

آموزش ابزارهای هوش تجاری و Spark

جمعه ۱۸ اسفند ۱۳۹۶ - ساعت ۱۳:۰۰
  • آموزش Big Data با Spark Streaming و Scala 

آموزش Big Data با Spark Streaming و Scala 

دوشنبه ۲۳ بهمن ۱۳۹۶ - ساعت ۰۴:۰۰
  • مجموعه آموزش های Spark 2016

مجموعه آموزش های Spark 2016

یکشنبه ۲۲ بهمن ۱۳۹۶ - ساعت ۰۵:۰۰
  • آشنایی با Spark

آشنایی با Spark

دوشنبه ۰۹ بهمن ۱۳۹۶ - ساعت ۰۷:۳۰
  • آموزش Spark و Python برای کلان داده با PySpark

آموزش Spark و Python برای کلان داده با PySpark

شنبه ۳۰ دی ۱۳۹۶ - ساعت ۱۶:۳۰
  • آموزش تحلیل کلان داده با Spark و Amazon EMR

آموزش تحلیل کلان داده با Spark و Amazon EMR

جمعه ۲۹ دی ۱۳۹۶ - ساعت ۰۶:۰۰