تبلیغات

مجموعه آموزش آپاچی کافکا - یادگیری عملی Kafka Connect

دسته بندی ها: آموزش آپاچی کافکا (Apache Kafka) ، پایگاه داده ، آموزش های Packtpub

Kafka Connect ابزاری برای استریم داده‌های مقیاس پذیر و قابل اعتماد بین آپاچی کافکا و سایر سیستم‌های داده است. Kafka Connect آپاچی یک چارچوب مشترک برای تولید کنندگان (producer) و مصرف کنندگان (consumer) آپاچی کافکا است.

Kafka Connect آپاچی یک API، runtime و سرویس REST ارائه می دهد که به توسعه دهندگان امکان تعریف connector هایی که مجموعه داده‌های بزرگ را بلادرنگ به داخل و خارج آپاچی کافکا منتقل می کنند، می دهد.

Kafka Connect می تواند کل پایگاه‌های داده ingest کند، معیارها (metric) را جمع آوری و لاگ‌های مربوط به سرورهای برنامه را در وارد تاپیک‌های آپاچی کافکا کند و داده‌ها را برای استریم پردازش با تأخیر کم در دسترس قرار دهد.

مباحث مطرح شده در دوره:

  • Kafka Connect چیست؟
  • طرح معماری Kafka Connect
  • Connector ها، پیکربندی، Task ها، Worker ها
  • حالت مستقل در مقابل توزیع شده
  • جزئیات معماری توزیع شده
  • راه اندازی و اجرای خوشه Kafka Connect
  • داکر روی مک (نسخه‌های اخیر)
  • Toolbox داکر در مک (نسخه‌های قدیمی تر)
  • داکر در لینوکس (اوبونتو به عنوان نمونه)
  • داکر در ویندوز 10 64bit
  • Toolbox  داکر در ویندوز (نسخه‌های قدیمی تر)
  • عیب یابی Kafka Connect
  • طرح معماری منبع Kafka Connect
  • Kafka Connect Sink
  • Kafka Connect REST API
  • JDBC Sink Connector - حالت توزیع شده
  • نوشتن Kafka Connector
  • کلاس Connector
آیا این نوشته را دوست داشتید؟
Apache Kafka Series - Kafka Connect Hands-on Learning [Video] Publisher:Packtpub Author:Stéphane Maarek Duration:4 hours 14 minutes

Kafka Connect - Learn How to Source Twitter Data, Store in Apache Kafka Topics and Sink in ElasticSearch and PostgreSQL
A comprehensive and new course for learning the Apache Kafka Connect framework with hands-on Training.Kafka Connect is a tool for scalable and reliable streaming data between Apache Kafka and other data systems. Apache Kafka Connect is a common framework for Apache Kafka producers and consumers.Apache Kafka Connect offers an API, runtime, and REST service to enable developers to define connectors that move large data sets into and out of Apache Kafka in real time. It inherits strong concepts such as fault-tolerance and elasticity thanks to being an extension of Apache Kafka. Kafka Connect can ingest entire databases, collect metrics, and gather logs from all your application servers into Apache Kafka topics, making the data available for stream processing with low latency. Kafka Connect standardises the integration of other data systems with Apache Kafka, simplifying connector development, deployment, and management. In this course, we are going to learn Kafka connector deployment, configuration, and management with hands-on exercises. We are also going to see the distributed and standalone modes to scale up to a large, centrally-managed service supporting an entire organisation or scale down to development, testing, and small production deployments. The REST interface is used to submit and manage connectors to your Kafka Connect cluster via easy to use REST API’s.
Style and Approach
Kafka Connect standardises the integration of other data systems with Apache Kafka, simplifying connector development, deployment, and management.
Released: Wednesday, May 30, 2018
Course Introduction
Important Pre-Requisites
Course Objectives
Course Structure
About Your Instructor
Kafka Connect Concepts
What is Kafka Connect?
Kafka Connect Architecture Design
Connectors, Configuration, Tasks, Workers
Standalone vs Distributed Mode
Distributed Architecture in Details
Setup and Launch Kafka Connect Cluster
Docker on Mac (recent versions)
Docker Toolbox on Mac (older versions)
Docker on Linux (Ubuntu as an example)
Docker on Windows 10 64bit
Docker Toolbox on Windows (older versions)
Starting Kafka Connect Cluster using Docker Compose
Troubleshooting Kafka Connect
It's not working! What to do?
Where to view logs?
Asking a question in the Q&A;
Kafka Connect Source - Hands On
Kafka Connect Source Architecture Design
FileStream Source Connector - Standalone Mode - Part 1
FileStream Source Connector - Standalone Mode - Part 2
FileStream Source Connector - Distributed Mode
List of Available Connectors
Twitter Source Connector - Distributed Mode - Part 1
Twitter Source Connector - Distributed Mode - Part 2
Section Summary
Kafka Connect Sink - Hands On
Kafka Connect Sink Architecture Design
ElasticSearch Sink Connector - Distributed Mode - Part 1
ElasticSearch Sink Connector - Distributed Mode - Part 2
Kafka Connect REST API
JDBC Sink Connector - Distributed Mode
Writing your own Kafka Connector
Goal of the section: GitHubSourceConnector
Finding the code and installing required software
Description of the GitHub Issues API
Using the Maven Archetype to get started
Config Definitions
Connector Class
Writing a schema
Data Model for our Objects
Writing our GitHub API HTTP Client
Source Partition & Source Offsets
Source Task
Building and running a Connector in Standalone Mode
Deploying our Connector on the Landoop cluster
More Resources for Developers
Advanced Concepts
Setting up Kafka Connect in Production (1/2)
Setting up Kafka Connect in Production (2/2)
What's next?
Congratulations and thank you!

پیشنهاد فرادرس