Ntp Ayarları

system-config-date
ntpdate -u ntpServerIP
service ntpd status
chkconfig ntpd on

Ubuntu Enviromen Variables

env  komutu ile listeleyebiliriz.

Zookeeper Durum İzleme

ps aux|grep java|grep zookeeper
netstat -lnp|grep 2181                                                    (zookeeperı clientportu)

Nutch Gora Write Size

Nutch default olarak DB ye 10000 kayıtta bir yazmakta bu değeri nutch.site.xml dosyasına aşağıdaki satırları ekleyerek değiştirebiliriz.



<property>
  <name>gora.buffer.read.limit</name>
  <value>10000</value>
  <description>The maximum number of buffered Records we wish to
  read in one batch. @see org.apache.gora.mapreduce.GoraRecordReader
  </description>
</property>

<property>
  <name>gora.buffer.write.limit</name>
  <value>100</value>
  <description>Configures (for the Hadoop record writer) the maximum number of
  buffered Records we wish to regularly flush to the Gora datastore.
  @see org.apache.gora.mapreduce.GoraRecordWriter.
  </description>
</property>

Nutch Mysql Hatası

MySQLNonTransientConnectionException hatası aldığınızda:

Mysql veritabanının conf dosyasında:

wait_timeout

parametresinin değerini arttırmak ve db'yi restart etmek çözüm oluyor.