24 Ekim 2014 Cuma

Hadoop - MapReduce-1 Job Fail Durumları


  • Task içeride yapılan işlemlerden dolayı fail edebilir.
  • Task uzun süre JobTracker'a durum ilgisi göndermediğinde (10 dakika), JobTracker tarafından fail etmiş kabul edilir ve JVM 'si kill edilir.
  • Bir task fail ettiğinde tekrar başka bir düğümde ayağa kaldırılır ve çalıştırılır.
  • Aynı task 4 kere fail eder ise tekrar çalıştırılması denenmez. Bu derğer parametriktir ve mapred.map.max.attempts ve mapred.reduce.max.attempts paremetreleri ile değiştirilebilir.
  • Bir job içerisinde belirli sayıda task fail eder ise job fail etmiş sayılır ve çalışan task larda kill edilir. Bu sayı mapred.max.map.failures.percent ve mapred.max.reduce.failures.percent parametreleri ile değiştirebilir.
  • Bir job speculative çalıştırma esnasında diğerinin bitmesinden dolayıda fail durumuna çekilip kill edilebilir.
  • Bir tasktracker hata aldığında çalıştırdığı tüm task'lar da  hatalı duruma çekilip kill edilir.

Hiç yorum yok:

Yorum Gönder