Büyük veri içeren bir Hadoop kümesinde zaman içerisinde datanode 'larda bulunan verilerin yoğunluğu birbirine eşit olmayabilir. Veri silme işlemerleri gibi işlemler ile küme üzerindeki denge bozulabilir. Bu durumda mapreduce programları çalıştırılmaya başlandığında bazı datanode'larda fazla bazılarında az iş çalıştırılır (veri yoğunluğu ile orantılı olarak).
Bu gibi problemleri aşabilmek için Hadoop altyapısının "Balancer" adı verilen bir uygulaması mevcut. Balancer çalıştırılarak küme tekrar dengeli veri paylaşımı olacak şekilde ayarlanabilmekte. Balancer sistemini çalıştırabilmek için aşağıdaki komut kullanılır:
$ start-balancer.sh
Bu komut çalıştırıldığında fazla yüke sahip datanode'lardan daha az veri yoğunluğu olan datanode'lara veri aktarımı olur. Bu veri aktarımı ağda yüke sebep oalcağından ve çalışan diğer işleri etkilememsi için varsayılan olarak 1MB ile sınırlandırılmıştır. Bu değer hdfs-site.xml dosyasındaki "dfs.balance.bandwithPerSec" parametresi ile değiştirilebilmektedir.
Hiç yorum yok:
Yorum Gönder