1

Нужно подобрать связку: книга - инсталляция, чтобы начать. То есть иметь свой кластер для игр.

В качестве машины имею свой ноутбук Windows 7 32bit, на нем VirtualBox Debian 7.

Вопросы:

Насколько сильна разница между релизами Hadoop? Сильно отличается 1x от 2x? Что скачать?
Есть download дистрибутива на сайте Apache. Но я слышал, там какие-то адские проблемы с установкой. Это так?
Есть какие-то готовые инсталляции с виртуальными машинами от Cloudera QuickStart. Однако они, как я понял, только для 64bit host машины. У меня нету.
Сейчас качаю Sandbox от Horton. Правильно делаю?
Есть что-то еще?

И кроме того, нужна книга. Hadoop Definitive Guide идет от 2012 года - он еще актуален? Я так и не понял из предисловия, по какой он версии.

2 ответа 2

1

32-битная машина означает, что у вас мало оперативной памяти, а это по-моему гарантирует страдание и боль с виртуалкой, внутри которой куча Java-хадупа.

Та же Cloudera QuickStart VM по умолчанию идет с 4GB для гостевой ОС, а для включения интерфейса администрирования (Cloudera Manager) авторы настоятельно рекомендуют поднять этот объем до 8GB.

В остальном (за исключением Cloudera Manager, который считается более продвинутым, чем Ambari в HDP), выбор Cloudera/Horton больше политический. Начать можно и с того, и с другого (основные компоненты там все-таки одинаковые), а потом попробовать конкурирующий дистрибутив ради нехватающих компонент (типа Impala, которая поставляется только в CDH).

По поводу "скачать с apache.org": сам не пробовал, но здравый смысл подсказывает, что собирать дистрибутив из комплектующих будет не проще, чем аналогичная затея в Linux.

Hadoop 1.x от 2.x отличается существенно. Упоминаемая книжка недавно вышла в четвертой редакции, и теперь описывает только 2.x, что проще для восприятия. 3-я редакция была вперемешку про две версии.

Мое мнение - все равно, какую книжку читать - одной не обойдешься. На мой вкус, все книжки слишком сильно углубляются в детали (что делает такой-то класс в map-reduce), не видел толкового высокоуровневого описания картинки в целом (да и меняется она весьма быстро). Поэтому сам долго гуглил. Но каждому нравится свое.

0
  1. Да, разница между версиями 1.х и 2.х существенна, а вот между 2.х и 3.х уже не столь, так что на данный момент можно выбирать из последних.
  2. Больших проблем с установкой из "чистого" дистрибутива, скачанного с сайта нет. Туториал вполне поможет: http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html.
  3. Сразу качать сборку от Hortonworks или Cloudera не советовал бы, лучше разбираться по отдельности с каждым компонентом, начиная непосредственно с Hadoop'а.
  4. Проблем с тем, что у вас 32-битная машина, на начальном этапе не возникнет. Этого вполне хватит, чтобы запустить псевдо-распределённый режим, и даже если захочется попробовать настроить кластер из пары виртуальных машин - для каждой из них хватит и по 512 Мбайт для того, чтобы запуститься, если удачно всё сконфигурировать.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.