VirtualBox Disk Alanı Arttırma

Bu işlem için öncelikle  Sanal İşletim sistemimizin vdi dosyasının bulunduğu klasöre gidiyoruz. Ve burada aşağıdaki komutu çalıştırıyoruz: Benim sanal makinamın adı Windows ve 20360 lık bir disk alanı olsun istiyorum:

vboxmanage modifyhd Windows.vdi --resize 20360

Daha sonra aşağıdaki iso dosyasını indiriyoruz.

http://sourceforge.net/projects/gparted/

Sonraki aşamada virtual box/Settings/Storage bölümünden bir CD sürücüsü olarak bu iso dosyasını tanıtıyoruz.

İşletim istemini açarken bu partitioning programı otomatik olarak açılıyor. İstediğimiz şekilde boş alanlara atama yapabiliriz.

Restart ettiğimizde disk alanımızın arttığını göreceğiz.

Hadoop Single DataNode Kapatma

TaskTracker için:
hadoop-daemon.sh --config /etc/hadoop/ stop tasktracker

DataNode için:
hadoop-daemon.sh --config /etc/hadoop/ stop datanode

Hadoop Yeni DataNode

Kurulumları yaptıktan sonra ve hadoopda slave dosyasında yeni dataodeu ekledikte sonra yeni sunucuya gidip hadoop komutlarının olduğu klasörde aşağıdaki komutlar çalıştırılır.(/usr/sbin
)


 hadoop-daemon.sh start tasktracker
 hadoop-daemon.sh start datanode

Hbase Regionserver

HBase de tek bir regionserver çöktüğünde, bu regionserver 'ı ayağa kaldırmak için:

./bin/hbase-daemon.sh start regionserver

Hbase+Hive Hata

Hata:

FAILED: Error in metadata: MetaException(message:org.apache.hadoop.hbase.MasterNotRunningException: 10.10.6.100:60000
at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation.getMaster(HConnectionManager.java:394)
at org.apache.hadoop.hbase.client.HBaseAdmin.<init>(HBaseAdmin.java:83)
at org.apache.hadoop.hive.hbase.HBaseStorageHandler.getHBaseAdmin(HBaseStorageHandler.java:74)
at org.apache.hadoop.hive.hbase.HBaseStorageHandler.preCreateTable(HBaseStorageHandler.java:158)
at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.createTable(HiveMetaStoreClient.java:396)
at org.apache.hadoop.hive.ql.metadata.Hive.createTable(Hive.java:540)
at org.apache.hadoop.hive.ql.exec.DDLTask.createTable(DDLTask.java:3479)
at org.apache.hadoop.hive.ql.exec.DDLTask.execute(DDLTask.java:225)
at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:133)
at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:57)
at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1332)
at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:1123)
at org.apache.hadoop.hive.ql.Driver.run(Driver.java:931)
at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:255)
at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:212)
at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:403)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:671)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:554)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:601)
at org.apache.hadoop.util.RunJar.main(RunJar.java:156)
)

bu durumda $HIVE_HOME/lib altındaki Hbase ile ilgili jarları kontrol etmek gerekiyor.

eğer kullandığımız hbase versiyonuna ek olarak başka jarlar da var ise bunları silmek lazım.

Linux GUI Göçtüğünde

GUI to CLI
Ctrl+Alt+F6

CLI to GUI
Ctrl+Alt+F1

Terminalden desktop
startx

Linux network ayarları

Sanal makinayı kopyaladığınızda network ayarlarında problemler olabiliyor bunun için:

if config -a 

vim /etc/udev/rules.d/70-persistent-net.rules (Birden fazla bağlantı göreceksiniz muhtemelen fazla olanları sileceğiz!!!)

system-config-network

reboot
sudo /etc/init.d/networking restart

dhclient eth1

ifconfig -a

Ubuntu Snapshot Uygulaması

Özellikle pdf dosyalarındaki resimleri almak için kullandığım bir uygulama. Tavsiye ederim.

KSnapshot:

http://www.kde.org/applications/graphics/ksnapshot/

Hive-Hbase Mapping For Nutch webpage Table

CREATE EXTERNAL TABLE webpage_h(
key string,
baseUrl string,
status int,
prevFetchTime bigint,
fetchtime bigint,
fetchInterval int,
retriesSinceFetch int,
reprUrl string,
content string,
contentType string,
protocolStatus int,
modifiedTime bigint,
prevModifiedTime bigint,
batchId string,
title string,
text string,
parseStatus int,
signature string,
prevSignature string,
score float,
language string
) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES
("hbase.columns.mapping" = ":key,f:bas,f:st#b,f:pts#b,f:ts#b,f:fi#b,f:rsf#b,f:rpr,f:cnt,f:typ,f:prot#b,f:mod#b,f:pmod#b,f:bid,p:t,p:c,p:st#b,p:sig,p:psig,s:s#b,mtdt:language") TBLPROPERTIES ("hbase.table.name" = "webpage");

DataNode'lardaki Kalan Hbase'leri Sonlandırma

hbase ajanlarını öldürmek için:

pkill -f HRegionServer

paralel olarak tüm makinalarda:

pdsh -w makinalar[01-14] "pkill -f HRegionServer"

komutunu kullanabilirsiniz.

yada

pdsh -w makinalar[01-14] "kill -9 `jps|grep HRegionServer|cut -d"H" -f1`"