Hadoop Kümesine Yeni Düğüm Ekleme (Commissioning) - Çıkarma (Decommissioning)

Hadoop kümesinde düğümlerin tanımlı olduğu 3 farklı dosya bulunmaktadır.

1. slaves
2. hdfs-site.xml dosyasındaki "dfs.hosts" özelliğinde tanımlı dosya
3. mapred-site.xml dosyasındaki "mapred.hosts" özelliğinde tanımlı dosya
4. hdfs-site.xml dosyasındaki "dfs.hosts.exclude" özelliğinde tanımlı dosya
5. mapred-site.xml dosyasındaki "mapred.hosts.exclude" özelliğinde tanımlı dosya

Slaves Dosyası

Slaves dosyasında kümede kullanılan tüm düğümlerin adresleri tanımlanır. Bu dosya Hadoop tarafından açılış, kapanış yada restart gibi yönetimsel işlemler gerçekleştirilirken kullanılır. Hadoop açılırken bu dosyadaki sunuculara bağlanıp tasktacker ve datanode servislerini ayağa kaldırır.

dfs.hosts Dosyası

hdfs-site.xml dosyasındaki "dfs.hosts" özelliğinin dfs.hosts.file olarak tanımlandığını varsayalım. Slaves dosyasındaki tüm düğümlerde sistem başlatıldığında datanode servisleri çalıştırılır. Daha sonra bu datanode servisleri namenode'a bağlanmaya çalışırlar. Bu esnada Hadoop tarafından dfs.hosts.file dosyası kontrol edilir. Eğer bağlanmaya çalışan düğüm bu dosyada tanımlı değil ise kümeye eklenmez.

mapred.hosts Dosyası

mapred-site.xml dosyasındaki "mapred.hosts" özelliğinin mapred.hosts.file olarak tanımlandığını varsayalım. Slaves dosyasındaki tüm düğümlerde sistem başlatıldığında tasktracker servisleri çalıştırılır. Daha sonra bu tasktracker servisleri JobTracker'a bağlanmaya çalışırlar. Bu esnada Hadoop tarafından mapred.hosts.file dosyası kontrol edilir. Eğer bağlanmaya çalışan düğüm bu dosyada tanımlı değil ise kümeye eklenmez.

dfs.hosts.exclude Dosyası

hdfs-site.xml dosyasındaki "dfs.hosts.exclude" özelliğinin dfs.hosts.exclude.file olarak tanımlandığını varsayalım. dfs.hosts.exclude.file dosyasına kümeden çıkartılmak istenilen datanode düğümlerinin adresleri eklenir. Bu düğümlerde bulunan veriler güvenli bir şekilde taşındıktan sonra düğüm kümeden çıkartılır.

mapred.hosts.exclude Dosyası

mapred-site.xml dosyasındaki "mapred.hosts.exclude" özelliğinin mapred.hosts.exclude.file olarak tanımlandığını varsayalım. mapred.hosts.exclude.file dosyasına kümeden çıkartılmak istenilen tasktracker düğümlerinin adresleri eklenir. Bu düğümlerde çalışmakta olan task'lar güvenli bir şekilde başka düğümlere taşındıktan sonra düğüm kümeden çıkartılır.

Kümeye Yeni Datanode Ekleme (Commissioning)

• dfs.hosts.file dosyasına eklenmek istenilen yeni datanode düğümünün adresi yazılır.
• slaves dosyasına eklenmek istenilen yeni datanode düğümünün adresi yazılır.
• $ hadoop dfsadmin -refreshNodes komutu çalıştırılır.
• Eklenecek düğüme bağlanılır ve datanode servisi çalıştırılır. 
• $ hadoop-daemon.sh --config /etc/hadoop/ start datanode)
• Hadoop namenode web arayüzünden yeni datanode düğümünün eklendiği teyit edilir.

Kümeye Yeni Tasktracker Ekleme (Commissioning)

• mapred.hosts.file dosyasına eklenmek istenilen yeni tasktracker düğümünün adresi yazılır.
• slaves dosyasına eklenmek istenilen yeni tasktracker düğümünün adresi yazılır.
• $ hadoop mapredadmin -refreshNodes komutu çalıştırılır.
• Eklenecek düğüme bağlanılır ve tasktracker servisi çalıştırılır. 
• $ hadoop-daemon.sh --config /etc/hadoop/ start tasktracker)
• Hadoop jobtracker web arayüzünden yeni tasktracker düğümünün eklendiği teyit edilir.

Kümeden DataNode Çıkarma (Decommissioning)

• dfs.hosts.exclude.file dosyasına çıkartılmak istenilen datanode düğümünün adresi yazılır.
• $ hadoop dfsadmin -refreshNodes komutu çalıştırılır.
• Hadoop namenode web arayüzünden datanode düğümünün kümeden çıkartıldığı teyit edilir.
• Çıkartılan düğüme bağlanılır ve datanode servisi kapatılır. 
• $ hadoop-daemon.sh --config /etc/hadoop/ stop datanode)
• dfs.hosts.file dosyasından kümeden çıkartılmak istenilen datanode düğümünün adresi silinir.
• $ hadoop dfsadmin -refreshNodes komutu çalıştırılır.
• slaves dosyasından, kümeden çıkartılmak istenilen datanode düğümünün adresi silinir.

Kümeden Tasktracker Çıkarma (Decommissioning)

• mapred.hosts.exclude.file dosyasına çıkartılmak istenilen tasktracker düğümünün adresi yazılır.
• $ hadoop mapredadmin -refreshNodes komutu çalıştırılır.
• Hadoop jobtracker web arayüzünden tasktracker düğümünün kümeden çıkartıldığı teyit edilir.
• Çıkartılan düğüme bağlanılır ve tasktracker servisi kapatılır. 
• $ hadoop-daemon.sh --config /etc/hadoop/ stop tasktracker)
• mapred.hosts.file dosyasından kümeden çıkartılmak istenilen tasktracker düğümünün adresi silinir.
• $ hadoop mapredadmin -refreshNodes komutu çalıştırılır.
• slaves dosyasından, kümeden çıkartılmak istenilen tasktracker düğümünün adresi silinir.