در این دوره با مبانی Apache Spark با Java، نکات لازم برای ایجاد اپلیکیشن Spark با جاوا، مهارت های دستکاری و تجزیه و تحلیل کلان داده، پردازش و تحلیل داده و غیره آشنا می شوید.

این دوره بیش از 10 مثال از کلان داده را پوشش می دهد.

سرفصل:

  • شروع به کار با Apache Spark
  • معرفی دوره
  • معرفی Spark
  • نصب Java و Git
  • راه اندازی پروژه Spark با IntelliJ IDEA
  • راه اندازی پروژه Spark با Eclipse
  • اجرای Spark
  • RDD
  • مبانی RDD
  • ایجاد RDD
  • تبدیل نقشه و فیلتر
  • راه حل برای فرودگاه با مشکل عرض جغرافیایی
  • تبدیل FlatMap
  • تنظیم عملیات
  • اقدامات
  • حل مسئله تعداد اعداد
  • جنبه های مهم در مورد RDD
  • خلاصه ای از عملیات RDD
  • ذخیره و تداوم
  • معماری و کامپوننت Spark
  • معماری Spark
  • کامپوننت Spark
  • Pair RDD
  • معرفی  Pair RDD
  • ایجاد  Pair RDD
  • فیلتر و تبدیل MapValue در Pair RDD
  • کاهش با Key Aggregation
  • راه حل نمونه برای مشکل متوسط خانه
  • گروه بندی با  Key Transformation
  • مرتب سازی با Key Transformation
  • راه حل نمونه برای مشکل شمارش کلمه ذخیره شده
  • تقسیم بندی داده
  • پیوستن به عملیات
  • عناوین پیشرفته Spark
  • Accumulators
  • متغیرهای Broadcast
  • راه حل برای پیگیری مشکل StackOverflow Survey
  • Spark SQL
  • معرفی Spark SQL
  • نوع مجموعه داده
  • استفاده از مجموعه داده یا RDD
  • تبدیل داده ها و RDD
  • تنظیم عملکرد SQL Spark
  • اجرای Spark در  Cluster
  • بسته بندی اپلیکیشن Spark و استفاده از spark-submit
  • اجرای اپلیکیشن Spark در Amazon EMR (Elastic MapReduce) cluster