Varsayılan Değerler
Her bir makinada 2 ader map ve reduce task ayağa kalkar.
DataNode : 1000MB
TaskTracker:1000MB
1 Map Task : 200MB (-Xmx200m)
1 Reduce Task : 200MB (-Xmx200m)
Toplamda: 1000+1000+200*2+200*2= 2800MB bellek gerekir.
*****************************************
1 task'ın kullanabileceği bellek "mapred.child.java.opts" parametresi ile değiştirilebilir. Aynı anda çalışabilecek task sayısı makinadaki işlemci sayısı ile doğru orantılıdır. 5 çekirdekli bir makinada aynı anda 4 adet task çalışabilir(1 slotu asktracker ve datanode kullanır). Bu durumda 200*4 map+ 200*4 reduce+1000datanode+100tasktracker= 3600 MB belleğe ihtiyaç olur.
Hiç yorum yok:
Yorum Gönder