مطالب پیشنهادی از سراسر وب

توسعه استریم داده با آپاچی اسپارک (Spark)، کافکا و Spring Boot

دسته بندی ها: آموزش آپاچی کافکا (Apache Kafka) ، آموزش اسپرینگ (Spring MVC) ، آموزش آپاچی اسپارک (Apache Spark) ، آموزش های Packtpub

در این دوره حجم زیادی از داده را با سرعت بالا اداره می کنید و انال ارتباطی استریم داده end-to-end را معماری و پیاده سازی خواهید کرد.

امروزه، سازمان‌ها کار دشواری با تعداد زیادی از مجموعه داده‌ها (dataset) دارند. علاوه بر این، پردازش و تجزیه و تحلیل داده‌ها برای به دست آوردن بینش باید بلادرنگ انجام شود. اینجاست که استریم داده وارد می شود. از آنجا که داده‌های بزرگ دیگر موضوعی محبوبی نیستند، داشتن مهارت برای معماری و توسعه خطوط لوله استریم قوی داده برای همه توسعه دهندگان ضروری است.

علاوه بر این، آنها باید به کل خط لوله، از جمله واگذاری‌های هر لایه فکر کنند. این دوره با تشریح معماری طرح برای توسعه یک خط لوله استریم داده کاربردی و نصب فناوری‌های مورد استفاده آغاز می شود. همچنین می توانید خطاهای خاصی که هنگام کار با داده‌های جریانی روبرو هستید، مدیریت کنید.

در پایان دوره، شما یک خط لوله استریم کارآمد داده ایجاد خواهید کرد و قادر خواهید بود برای تجزیه و تحلیل لایه‌های مختلف آن، از جریان مداوم داده‌ها اطمینان حاصل کنید.

 تمام کد و فایل های پشتیبانی دوره در این آدرس قرار دارند.

مباحث مطرح شده در دوره:

  • معرفی معماری جریان داده
  • کشف معماری نقشه خط لوله استریم داده
  • تجزیه و تحلیل Meetup RSVPs بصورت بلادرنگ
  • استقرار مجموعه‌ها (Collection) و لایه‌های صف بندی پیام
  • اجرای لایه مجموعه
  • جمع آوری داده‌ها از طریق الگوی استریم و Spring WebSocketClient API
  • توضیح نقش لایه صف بندی پیام
  • مقدمه‌ای بر پیام ما در لایه صف بندی - آپاچی کافکا
  • دسترسی به لایه Data Access
  • جدا کردن (Dissect) لایه Data Access
  • مقدمه‌ای بر لایه Data Access همراه MongoDB
  • یادگیری Spring Reactive
  • نمایش لایه Data Access در مرورگر
  • پیاده سازی لایه تحلیل
  • الگوریتم‌های استریم برای تجزیه و تحلیل داده‌ها
  • معرفی مرحله تحلیل ما - آپاچی اسپارک
  • بررسی اجمالی Spark RDDs
  • استریم اسپارک
  • DataFrames، Datasets و Spark SQL
  • استریم ساختار یافته اسپارک
  • یادگیری ماشینی در 7 مرحله
  • MLlib Spark ML
  • Spark GraphX
  • Kafka Connect
  • برقراری ارتباط بین لایه‌ها
آیا این نوشته را دوست داشتید؟
Data Stream Development with Apache Spark, Kafka, and Spring Boot [Video] Publisher:Packtpub Author:Anghel Leonard Duration:7 hours 51 minutes

Handle high volumes of data at high speed. Architect and implement an end-to-end data streaming pipeline
Today, organizations have a difficult time working with huge numbers of datasets. In addition, data processing and analyzing need to be done in real time to gain insights. This is where data streaming comes in. As big data is no longer a niche topic, having the skillset to architect and develop robust data streaming pipelines is a must for all developers. In addition, they also need to think of the entire pipeline, including the trade-offs for every tier.
This course starts by explaining the blueprint architecture for developing a completely functional data streaming pipeline and installing the technologies used. With the help of live coding sessions, you will get hands-on with architecting every tier of the pipeline. You will also handle specific issues encountered working with streaming data. You will input a live data stream of Meetup RSVPs that will be analyzed and displayed via Google Maps.
By the end of the course, you will have built an efficient data streaming pipeline and will be able to analyze its various tiers, ensuring a continuous flow of data.
All the code and supporting files for this course are available at https://github.com/PacktPublishing/-Data-Stream-Development-with-Apache-Spark-Kafka-and-Spring-Boot
Style and Approach
This course is a combination of text, a lot of images (diagrams), and meaningful live coding sessions. Each topic covered follows a three-step structure: first, we have some headlines (facts); second, we continue with images (diagrams) meant to provide more details; and finally we convert the text and images into code written in the proper technology.
Released: Friday, November 30, 2018
Introducing Data Streaming Architecture
The Course Overview
Discovering the Data Streaming Pipeline Blueprint Architecture
Analyzing Meetup RSVPs in Real-Time
Deployment of Collection and Message Queuing Tiers
Running the Collection Tier (Part I – Collecting Data)
Collecting Data Via the Stream Pattern and Spring WebSocketClient API
Explaining the Message Queuing Tier Role
Introducing Our Message Queuing Tier –Apache Kafka
Running The Collection Tier (Part II – Sending Data)
Proceeding to the Data Access Tier
Dissecting the Data Access Tier
Introducing Our Data Access Tier – MongoDB
Exploring Spring Reactive
Exposing the Data Access Tier in Browser
Implementing the Analysis Tier
Diving into the Analysis Tier
Streaming Algorithms For Data Analysis
Introducing Our Analysis Tier – Apache Spark
Plug-in Spark Analysis Tier to Our Pipeline
Brief Overview of Spark RDDs
Spark Streaming
DataFrames, Datasets and Spark SQL
Spark Structured Streaming
Machine Learning in 7 Steps
MLlib (Spark ML)
Spark ML and Structured Streaming
Spark GraphX
Mitigate Data Loss between Collection, Analysis and Message Queuing Tiers
Fault Tolerance (HML)
Kafka Connect
Securing Communication between Tiers

پیشنهاد آموزش مرتبط در فرادرس