Hadoop: Доступні дані: 0 (всього 0, 0 мертвих)

Кожен раз, коли я запускаю:

hadoop dfsadmin -report

Я отримую такі дані:

Configured Capacity: 0 (0 KB)
Present Capacity: 0 (0 KB)
DFS Remaining: 0 (0 KB)
DFS Used: 0 (0 KB)
DFS Used%: �%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Datanodes available: 0 (0 total, 0 dead)
  1. Немає каталогу даних у папці dfs /.
  2. У цій папці існує файл блокування: in_use.lock
3
додано Змінено
Перегляди: 3
джерело
ro nl ja ru fr es pt de hi bn ar kk uz be tr
У мене точно така ж проблема. Я перевірив журнали даних і не вдалося підключитися до master: 9000, тому я перевірив порти на master і знайшов цю запис: ?
додано Автор Mehraban, джерело
@AlfonsoNishikawa проблеми, здається, те ж саме. насправді я підвищив це питання і вашу відповідь.
додано Автор Mehraban, джерело
@Saeed Adel Mehraba: може трапитися те ж саме з вами, як і тут ?: на namenode "> stackoverflow.com/questions/20883564/…
додано Автор Alfonso Nishikawa, джерело
Дякую! :) Приємно бачити це було корисно.
додано Автор Alfonso Nishikawa, джерело
Яке ваше запитання?
додано Автор darcyq, джерело
Я думаю, тепер питання, чому є datanodes не підключений до NameNode.
додано Автор darcyq, джерело
Всі вузли на hadoop запущені і працюють з точним ім'ям вузла, трекером завдання, вузлами даних. Але команда dfsadmin не показує вузлів даних. Я також не в змозі підключитися до вузлів даних - дає помилку підключення.
додано Автор spm, джерело
Так. Які-небудь відповіді?
додано Автор spm, джерело

7 Відповіді

У мене була така сама проблема, і коли я перевірив журнали даних, було багато не вдалося підключитися до master: 9000 , і коли я перевірив порти на master через netstat -ntlp мав це у виході:

tcp 0 0 127.0.1.1:9000 ...

Я зрозумів, що я повинен змінити ім'я своєї головної машини або змінити master у всіх конфігураціях. Я вирішив зробити першу причину, здається, набагато простіше. тому я змінив /etc/hosts і змінив 127.0.1.1 master на 127.0.1.1 master-machine і додав запис наприкінці такий файл:

192.168.1.1 master

Потім я змінив master на master-machine у /etc/hostname і перезавантажив машину. Проблема пропала.

1
додано
джерело

Перевірте журнали даних. Він запише помилки, коли він не може повідомити до NameNode. Якщо ви опублікуєте ці помилки, люди зможуть допомогти ..

0
додано
джерело

Просто вирішили проблему, виконавши наведені нижче дії -

  1. Переконайтеся, що IP-адреси головного та підлеглого вузлів правильні у файлі /etc/hosts
  2. Якщо вам дійсно не потрібні дані, stop-dfs.sh , видаліть всі каталоги data у вузлах master/slave, а потім запустіть hdfs nameode -format і start-dfs.sh . Це має відновити інформацію hdf і виправити проблему
0
додано
джерело

гм ...

Ви перевірили брандмауер?

Коли я використовую hadoop, я вимикаю брандмауер (iptables -F, у всіх вузлах)

а потім повторіть спробу.

0
додано
джерело
Наразі це здається коментарем.
додано Автор Dave Newton, джерело
Я намагався вимкнути брандмауер. Ще не пощастило. Я все ще не в змозі отримати вузли даних для підключення до NameNode.
додано Автор spm, джерело

Це сталося з нами, коли ми перезапустили кластер. Але через деякий час дані були автоматично виявлені. Можливо, можливо, через властивість часу затримки блоку.

0
додано
джерело

Звичайно виникають помилки проблем ID простору імен у данні. Так видаліть ім'я dir з master і видаліть дані dir з datanodes. Тепер відформатуйте datanode і спробуйте start-dfs. Звіт зазвичай вимагає деякого часу для відображення всіх даних. Навіть я отримував 0 datanodes, але через деякий час майстер виявляє рабів.

0
додано
джерело

У мене була та ж проблема, і я просто вирішила її.

/ etc/hosts всіх вузлів мають виглядати так:

127.0.0.1 localhost xxx.xxx.xxx.xxx master xxx.xxx.xxx.xxx slave-1 xxx.xxx.xxx.xxx slave-2

0
додано
джерело