پیشنهاد فرادرس

آموزش اصول Hadoop

دسته بندی ها: آموزش های LiveLessons ، هدوپ (Hadoop)

آموزش-اصول-hadoop

Hadoop یک پروژه متن باز است که توسط سازمان نرم افزاری Apache ایجاد شده است. ایده اولیه هدوپ اولین بار در شرکت گوگل رقم خورد. هدوپ امکان ذخیره سازی اطلاعات را در چندین سرور با هزینه ای پایین فراهم می آورد.

تکنولوژی هدوپ از دو بخش کلی HDFS یا سیستم فایل انتشاری هدوپ (Hadoop Distribition File System) و همچنین تکنیک با کیفیت پردازی اطلاعات به نام MapReduce استفاده می کند.

ساختار کلی اطلاعاتی در هدوپ بدینگونه می باشد که اطلاعات توسط سیستم هدوپ شکسته شده و به چندین سرور فرستاده می شود.سرورها بسته به نوع اطلاعات که ممکن است پردازشی یا ذخیره ای باشد اطلاعات را پردازش یا ذخیره سازی می کنند. در هنگام در خواست اطلاعات مجدد سیستم اطلاعات را از سرور های مختلف گرفته ، مونتاژ کرده و در خروجی نمایش می دهد. خوبی این سیستم تهیه نسخه پشتیبان از اطلاعات بصورت خودکار است. هر تکه از اطلاعات در چندین قسمت ( سرور ) ذخیره می شود و در صورت آسیب دیدن یکی از سرورها ، سرور دیگر قادر است مسؤولیت را بر عهده گرفته و اطلاعات مورد نظر را جایگزین کند.

اکثر کمپانی های بزرگ دنیا از قبیل AOL،Facebook،Yahoo،IBM و ….. از این تکنولوژی استفاده می کنند. برای مثال شرکت یاهو با بیش از 100.000 هسته ی CPU در بیش از 40.000 سرور بزرگترین مجری سیستم هدوپ در دنیا محسوب می شود. بزرگترین کلاستر (Cluster) این شرکت شامل 4500 سرور می باشد که هر کدام دارای 2 پردازشگر 4 هسته ای، 4 هارد دیسک 1 ترابایتی و 16 گیگابایت حافظه ی رم می باشند!

دوره آموزش Hadoop که محصول LiveLessons است به درخواست یکی از دوستان آماده شده است.در این آموزش تصویری شما با Hadoop و نحوه نصب و راه اندازی آن آشنا می شوید.

ليست سرفصل هاي اين دوره آموزشي:

Lesson 1, “Background Concepts,” covers important Hadoop and Big Data fundamentals. You learn Hadoop history and design principles along with the
introduction to the MapReduce paradigm and the components of the Hadoop ecosystem will be introduced.

Lesson 2, “Running Hadoop on a Desktop or Laptop,” shows you how to create a real Hadoop working installation in a virtual Linux sandbox. All software is freely available, can be easily installed to a desktop or laptop computer, and can be used for many of the examples in this tutorial.

Lesson 3, “The Hadoop Distributed File System” introduces you to the distributed storage system of Hadoop. In this lesson, you learn HDFS design basics, how to perform basic file operations, and how to use HDFS in programs.

Lesson 4, “Hadoop MapReduce,” presents Hadoop MapReduce in more detail using simple command line examples. You also learn how to run a Java MapReduce application on a Hadoop cluster and then learn each step of the full Hadoop MapReduce process.

Lesson 5, “Hadoop Examples,” teaches you how to write MapReduce programs in almost any language using the Streaming and Pipes interface. You also learn how to run a “grep” like Hadoop application and use some basic debugging techniques.

Lesson 6, “Higher Level Tools,” shows you how to use Pig and Hive, two high level Hadoop applications. Each lesson teaches you the various execution modes and commands needed to use the tools.

Lesson 7, “Setting Up Hadoop in the Cloud,” demonstrates the simple steps needed to start a Hadoop Cluster in the cloud using a tool called Whirr.

Lesson 8, “Setting Up Hadoop on a Local Cluster,” teaches you how to install Hadoop on a basic four node cluster. You will learn the steps needed to configure, install, start, test, and monitor a fully functional Hadoop cluster.

حجم فايل: 2.11GB

LiveLessons Hadoop Fundamentals

پیشنهاد فرادرس

arash در 1394/01/08 ساعت 18:13

با سلام وتبریک سال نو خدمت دوستان گرامی
من دنبال آموزشی می گشتم که روش انصب و اجرای برنامه Hadoop را روی ویندوز7 توضیح بده که به مطلب شما رسیدم که این آموزش خیلی خوبه ولی روی مک اجرا شده حال از شما دوستان گرامی تقاضا دارم اگه آموزش روی ویندوز7 را دارید منو راهنمایی کنید ممنون و سپاسگزارم.