مطالب پیشنهادی از سراسر وب

آموزش Apache Spark با Java - یادگیری Spark از Big Data Guru

دسته بندی ها: آموزش آپاچی اسپارک (Apache Spark) ، آموزش های Packtpub ، آموزش گیت (Git) ، پایگاه داده ، آموزش اکلیپس (Eclipse) ، آموزش کلان داده (Big Data) ، آموزش جاوا (Java)

در این دوره با مبانی Apache Spark با Java، نکات لازم برای ایجاد اپلیکیشن Spark با جاوا، مهارت های دستکاری و تجزیه و تحلیل کلان داده، پردازش و تحلیل داده و غیره آشنا می شوید.

این دوره بیش از 10 مثال از کلان داده را پوشش می دهد.

سرفصل:

  • شروع به کار با Apache Spark
  • معرفی دوره
  • معرفی Spark
  • نصب Java و Git
  • راه اندازی پروژه Spark با IntelliJ IDEA
  • راه اندازی پروژه Spark با Eclipse
  • اجرای Spark
  • RDD
  • مبانی RDD
  • ایجاد RDD
  • تبدیل نقشه و فیلتر
  • راه حل برای فرودگاه با مشکل عرض جغرافیایی
  • تبدیل FlatMap
  • تنظیم عملیات
  • اقدامات
  • حل مسئله تعداد اعداد
  • جنبه های مهم در مورد RDD
  • خلاصه ای از عملیات RDD
  • ذخیره و تداوم
  • معماری و کامپوننت Spark
  • معماری Spark
  • کامپوننت Spark
  • Pair RDD
  • معرفی  Pair RDD
  • ایجاد  Pair RDD
  • فیلتر و تبدیل MapValue در Pair RDD
  • کاهش با Key Aggregation
  • راه حل نمونه برای مشکل متوسط خانه
  • گروه بندی با  Key Transformation
  • مرتب سازی با Key Transformation
  • راه حل نمونه برای مشکل شمارش کلمه ذخیره شده
  • تقسیم بندی داده
  • پیوستن به عملیات
  • عناوین پیشرفته Spark
  • Accumulators
  • متغیرهای Broadcast
  • راه حل برای پیگیری مشکل StackOverflow Survey
  • Spark SQL
  • معرفی Spark SQL
  • نوع مجموعه داده
  • استفاده از مجموعه داده یا RDD
  • تبدیل داده ها و RDD
  • تنظیم عملکرد SQL Spark
  • اجرای Spark در  Cluster
  • بسته بندی اپلیکیشن Spark و استفاده از spark-submit
  • اجرای اپلیکیشن Spark در Amazon EMR (Elastic MapReduce) cluster
آیا این نوشته را دوست داشتید؟
Apache Spark with Java - Learn Spark from a Big Data Guru [Video] Publisher:Packtpub Author:James Lee Duration:3 hours and 20 minutes

Learn to analyze large data sets with Apache Spark by 10+ hands-on examples. Take your big data skills to the next level.
This course covers all the fundamentals of Apache Spark with Java and teaches you everything you need to know about developing Spark applications with Java. At the end of this course, you will have gained an in-depth knowledge pf Apache Spark, general big data analysis and manipulations skills. With these new skills you'll be able to help your company to adapt Apache Spark for building a big data processing pipeline and data analytics applications. This course covers 10+ hands-on big data examples. You will learn valuable knowledge on how to frame data analysis problems as Spark problems. Together we will learn examples such as aggregating NASA Apache web logs from different sources; we will explore the price trend by looking at the real estate data in California; we will write Spark applications to find out the median salary of developers in different countries through the Stack Overflow survey data; we will develop a system to analyze how maker spaces are distributed across different regions in the United Kingdom, and much more.
Style and Approach
This course is very hands-on, James has put in lots of effort to provide you with not only the theory but also real-life examples of developing Spark applications that you can try out on your own laptop.
Released: Monday, April 9, 2018
Get Started with Apache Spark
The Course Overview
Introduction to Spark
Install Java and Git
Set up Spark project with IntelliJ IDEA
Set up Spark project with Eclipse
Run our first Spark job
RDD
RDD Basics
Create RDDs
Map and Filter Transformation
Solution to Airports by Latitude Problem
FlatMap Transformation
Set Operation
Actions
Solution to Sum of Numbers Problem
Important Aspects about RDD
Summary of RDD Operations
Caching and Persistence
Spark Architecture and Components
Spark Architecture
Spark Components
Pair RDD
Introduction to Pair RDD
Create Pair RDDs
Filter and MapValue Transformations on Pair RDD
Reduce By Key Aggregation
Sample solution for the Average House problem
Group by Key Transformation
Sort by Key Transformation
Sample Solution for the Sorted Word Count Problem
Data Partitioning
Join Operations
Advanced Spark Topic
Accumulators
Solution to StackOverflow Survey Follow-up Problem
Broadcast Variables
Spark SQL
Introduction to Spark SQL
Spark SQL in Action
Spark SQL practice: House Price Problem
Spark SQL Joins
Strongly Typed Dataset
Use Dataset or RDD
Dataset and RDD Conversion
Performance Tuning of Spark SQL
Running Spark in a Cluster
Introduction to Running Spark in a Cluster
Package Spark Application and Use spark-submit
Run Spark Application on Amazon EMR (Elastic MapReduce) cluster

پیشنهاد آموزش مرتبط در فرادرس