در این دوره با مبانی Apache Spark با Java، نکات لازم برای ایجاد اپلیکیشن Spark با جاوا، مهارت های دستکاری و تجزیه و تحلیل کلان داده، پردازش و تحلیل داده و غیره آشنا می شوید.
این دوره بیش از 10 مثال از کلان داده را پوشش می دهد.
سرفصل:
- شروع به کار با Apache Spark
- معرفی دوره
- معرفی Spark
- نصب Java و Git
- راه اندازی پروژه Spark با IntelliJ IDEA
- راه اندازی پروژه Spark با Eclipse
- اجرای Spark
- RDD
- مبانی RDD
- ایجاد RDD
- تبدیل نقشه و فیلتر
- راه حل برای فرودگاه با مشکل عرض جغرافیایی
- تبدیل FlatMap
- تنظیم عملیات
- اقدامات
- حل مسئله تعداد اعداد
- جنبه های مهم در مورد RDD
- خلاصه ای از عملیات RDD
- ذخیره و تداوم
- معماری و کامپوننت Spark
- معماری Spark
- کامپوننت Spark
- Pair RDD
- معرفی Pair RDD
- ایجاد Pair RDD
- فیلتر و تبدیل MapValue در Pair RDD
- کاهش با Key Aggregation
- راه حل نمونه برای مشکل متوسط خانه
- گروه بندی با Key Transformation
- مرتب سازی با Key Transformation
- راه حل نمونه برای مشکل شمارش کلمه ذخیره شده
- تقسیم بندی داده
- پیوستن به عملیات
- عناوین پیشرفته Spark
- Accumulators
- متغیرهای Broadcast
- راه حل برای پیگیری مشکل StackOverflow Survey
- Spark SQL
- معرفی Spark SQL
- نوع مجموعه داده
- استفاده از مجموعه داده یا RDD
- تبدیل داده ها و RDD
- تنظیم عملکرد SQL Spark
- اجرای Spark در Cluster
- بسته بندی اپلیکیشن Spark و استفاده از spark-submit
- اجرای اپلیکیشن Spark در Amazon EMR (Elastic MapReduce) cluster
ثبت ديدگاه