Hadoop-Hbase "dfs.datanode.max.xcievers" optimum

hdfs-site.xml dosyasında tanımlanan "dfs.datanode.max.xcievers" parametresi client makinalarda kaç adet thread açılacağını tanımladığımız değer. Hbase in çalışma performası için önemli bir parametre.

Buradaki optimum sayının ne olacağına karar vermek için aşağıdaki formul kullanılabilir:

Bu değer doğru tanımlanmadığında aşağıdaki gibi atalar alınabilmekte:

Java.io.IOException: Could not obtain block: blk_2960332903087986581_94433611 file=/home/hadoop/hadoop-hadoop/mapred/staging/hadoop/.staging/job_201404221200_0002/job.split

at org.apache.hadoop.hdfs.DFSClient$DFSInputStream.chooseDataNode(DFSClient.java:2426) at org.apache.hadoop.hdfs.DFSClient$DFSInputStream.blockSeekTo(DFSClient.java:2218) at org.apache.hadoop.hdfs.DFSClient$DFSInputStream.read(DFSClient.java:2381) at org.apache.hadoop.hdfs.DFSClient$DFSInputStream.read(DFSClient.java:2309) at java.io.DataInputStream.readByte(DataInputStream.java:265) at org.apache.hadoop.io.WritableUtils.readVLong(WritableUtils.java:299) at org.apache.hadoop.io.WritableUtils.readVInt(WritableUtils.java:320) at org.apache.hadoop.io.Text.readString(Text.java:400) at org.apache.hadoop.mapred.MapTask.getSplitDetails(MapTask.java:382) at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:728) at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370) at org.apache.hadoop.mapred.Child$4.run(Child.java:255) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:415) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1149) at org.apache.hadoop.mapred.Child.main(Child.java:249)