27 Ağustos 2015 Perşembe

Ambari 2.1.0 Development Enviroment Setup - Ubuntu 14.04

~$ su
~$ yum install ntp -y
~$ service ntpd start
~$ service iptables stop
~$ /etc/init.d/iptables stop
~$ sudo dd if=/dev/zero of=/swapfile bs=1024 count=1024k
~$ sudo mkswap /swapfile
~$ sudo swapon /swapfile
~$ echo "/swapfile       none    swap    sw      0       0" >> /etc/fstab
~$ apt-get install g++ -y
~$ apt-get install git -y
~$ apt-get install python-dev
~$ apt-get install python-setuptools
~$ wget http://nodejs.org/dist/v0.10.31/node-v0.10.31-linux-x64.tar.gz
~$ tar zxvf node-v0.10.31-linux-x64.tar.gz
~$ mv node-v0.10.31-linux-x64 /usr/share/node
~$ /usr/share/node/bin/npm install -g brunch@1.7.17
~$ wget --no-check-certificate http://pypi.python.org/packages/2.6/s/setuptools/setuptools-0.6c11-py2.6.egg
~$ sh setuptools-0.6c11-py2.6.egg
~$ wget http://psg.mtu.edu/pub/apache/maven/maven-3/3.0.5/binaries/apache-maven-3.0.5-bin.tar.gz
~$ tar zxvf apache-maven-3.0.5-bin.tar.gz
~$ mv apache-maven-3.0.5 /usr/share/maven
~$ apt-get install openjdk-7-jdk -y
~$ echo 'PATH=$PATH:/usr/share/node/bin' > /etc/profile.d/node.sh
~$ chmod +x /etc/profile.d/node.sh
~$ echo 'PATH=$PATH:/usr/share/maven/bin' > /etc/profile.d/maven.sh
~$ chmod +x /etc/profile.d/maven.sh
~$ vi ~/.bashrc
    export PATH= /usr/share/maven/bin:$PATH
    export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.85.x86_64  (it must be your java installation path) 
    export _JAVA_OPTIONS="-Xmx2048m -XX:MaxPermSize=512m -Djava.awt.headless=true"
~$ exit
~$ reboot
~$ git clone https://git-wip-us.apache.org/repos/asf/ambari.git
~$ cd ambari
~$ git clean -df 
~$ mvn versions:set -DnewVersion=2.1.0-SNAPSHOT
~$ pushd ambari-metrics
~$ mvn versions:set -DnewVersion=2.1.0-SNAPSHOT
~$ popd
~$ mvn -B clean install package jdeb:jdeb -DskipTests -Dpython.ver="python >= 2.6" -Preplaceurl -Preplaceurl -Drat.skip -Drat.ignoreErrors=true
Gönderen zaman: Hiç yorum yok:

Ambari 2.1.0 Development Enviroment Setup - Centos6

~$ su
~$ yum install ntp -y
~$ service ntpd start
~$ service iptables stop
~$ /etc/init.d/iptables stop
~$ sudo dd if=/dev/zero of=/swapfile bs=1024 count=1024k
~$ sudo mkswap /swapfile
~$ sudo swapon /swapfile
~$ echo "/swapfile       none    swap    sw      0       0" >> /etc/fstab
~$ yum install git -y
~$ yum install rpm-build -y
~$ yum install gcc-c++ -y
~$ wget http://nodejs.org/dist/v0.10.31/node-v0.10.31-linux-x64.tar.gz
~$ tar zxvf node-v0.10.31-linux-x64.tar.gz
~$ mv node-v0.10.31-linux-x64 /usr/share/node
~$ /usr/share/node/bin/npm install -g brunch@1.7.17
~$ wget --no-check-certificate http://pypi.python.org/packages/2.6/s/setuptools/setuptools-0.6c11-py2.6.egg
~$ sh setuptools-0.6c11-py2.6.egg
~$ wget http://psg.mtu.edu/pub/apache/maven/maven-3/3.0.5/binaries/apache-maven-3.0.5-bin.tar.gz
~$ tar zxvf apache-maven-3.0.5-bin.tar.gz
~$ mv apache-maven-3.0.5 /usr/share/maven
~$ yum install java-1.7.0-openjdk-devel -y
~$ echo 'pathmunge /usr/share/node/bin' > /etc/profile.d/node.sh
~$ chmod +x /etc/profile.d/node.sh
~$ echo 'pathmunge /usr/share/maven/bin' > /etc/profile.d/maven.sh
~$ chmod +x /etc/profile.d/maven.sh
~$ vi ~/.bashrc
    export PATH= /usr/share/maven/bin:$PATH
    export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.85.x86_64  (it must be your java installation path)
    export _JAVA_OPTIONS="-Xmx2048m -XX:MaxPermSize=512m -Djava.awt.headless=true"
~$ exit
~$ reboot
~$ git clone https://git-wip-us.apache.org/repos/asf/ambari.git
~$ cd ambari
~$ git clean -df 
~$ mvn versions:set -DnewVersion=2.1.0-SNAPSHOT
~$ pushd ambari-metrics
~$ mvn versions:set -DnewVersion=2.1.0-SNAPSHOT
~$ popd
~$ mvn -B clean install package rpm:rpm -DskipTests -Dpython.ver="python >= 2.6" -Preplaceurl -Drat.skip -Drat.ignoreErrors=true



Gönderen zaman: Hiç yorum yok:

26 Ağustos 2015 Çarşamba

KVM SnapShot

Host: Ubuntu 14.04
VM : Centos6
  • create snapshot
    • ~$ virsh
    • ~$ snapshot-create-as ambariDev ssAmbariDev01
      • Domain snapshot ssAmbariDev01 created
  • list snapShots
    • ~$ virsh
    • ~$ snapshot-list ambariDev
      • Name Creation Time State
      ------------------------------------------------------------
      ssAmbariDev01 2015-08-26 14:15:07 +0300 running
  • Revert snapShot
    • ~$ virsh
    • ~$ snapshot-revert ambariDev ssAmbariDev01
  • Delete snapShot
    • ~$ virsh
    • ~$ snapshot-delete ambariDev ssAmbariDev01
Note: KVM does not support taking snapshots with raw format. You must convert row fortmat to qcov2 format

Gönderen zaman: Hiç yorum yok:

KVM - Ubuntu 14.04 - VirtManager - ImportError: No module named libvirt

ERROR:

Traceback (most recent call last): 
File "/usr/share/virt-manager/virt-manager.py", line 399, in <module> main() 
File "/usr/share/virt-manager/virt-manager.py", line 256, in main from virtManager import cli
File "/usr/share/virt-manager/virtManager/cli.py", line 29, in <module>
import libvirt ImportError: No module named libvirt

Solution:

sudo mv /usr/local/bin/python python-old #example name 
sudo ln -s /usr/bin/python /usr/local/bin/python
Gönderen zaman: Hiç yorum yok:

4 Ağustos 2015 Salı

Some Big Data Research Centers


******************


Gönderen zaman: Hiç yorum yok:

13 Nisan 2015 Pazartesi

Ubuntu 14-04 Upgrade - Çift ekran problemi

Ubuntu 12.04 den 14.04 de yükseltme yaptıktan sonra, sistem bilgisayara bağlı iki ekranıda aynı olarak tanımaya başladı. Sistemin hatalarını incelemek için:

$ sudo xdiagnose
View Errors

Hatalar:

[fglrx:firegl_init_device_list] *error* no supported display adapters were found
[fglrx:firegl_init_module] *error* firegl_init_devices failed

Bu durum "fglrx" paketlerinin doğru kurulmamasından kaynaklanmakta. Çözüm için:

$ sudo apt-get remove --purge fglrx fglrx-amdcccle
$ sudo apt-get remove --purge fglrx-updates fglrx-amdcccle-update




Bilgisayar tekrar başlatılır.




Gönderen zaman: 1 yorum:

11 Mart 2015 Çarşamba

Pdsh Hatası - World writable and sticky bit is not set

Hata:
pdsh@00nn: pdsh
pdsh@00nn: module path "/usr/lib64/pdsh" insecure.
pdsh@00nn: "/": World writable and sticky bit is not set
pdsh@00nn: Couldn't load any pdsh modules

 Çözüm:

pdsh@00nn: chmod 1777 /

Gönderen zaman: Hiç yorum yok:

24 Şubat 2015 Salı

Linux Çalışan Process'i Bulma

ps -ef | grep processAdi
Gönderen zaman: Hiç yorum yok:

9 Ocak 2015 Cuma

MongoDB Import

Üç dosya tipindeki dosyalar MongoDB'ye import edilebilir.

  1. CSV (Commo Seperated)
  2. TSV (Tab Seperated)
  3. JSON
/gelenVeriler/urunler.json dosyasında bulunan verileri mongoDB de bulunan satis adındaki veritabanına urunler collection'ı olarak import etmek için:

$ ./mongoimport --db satis --collection urunler < /gelenVeriler/urunler.json

connected to: 127.0.0.1
2015-01-09T16:29:01.975+0200 imported 18 objects

Eğer satis adında bir veritabanı mevcut değil ise otomatik olarak oluşturulur ve urunler adında bir tablo da mevcut değil ise otomatik olarak oluşturulur.

İmport edilen dokümanlar için otomatik olarak BSON veri tipinde 12 byte uzunluğunda bir _id alanı oluşturulur.
Bu alan ilişkisel veritabanlarından alışık olduğumuz "primary key" niteliğindedir.
Gönderen zaman: Hiç yorum yok:

7 Ocak 2015 Çarşamba

MongoDb Linux Kurulum ( Ubuntu )

Ön şart olarak JDK 1.6 ya da 1.7 nin kurulu olması gerekmekte.

Linux Kurulum ( Ubuntu )
  • http://www.mongodb.org/downloads sayfasından Linux versiyonu indirilir.
  • $ cd ~/Downloads
  • $ tar -xvf mongodb-linux-x86_64-2.6.6.tgz
  • $ su
  • $ mkdir /data
  • $ mkdir /data/db
  • $ chmod 777 /data/db
  • $ exit
  • $ cd mongodb-linux-x86_64-2.6.6/bin
  • $ ./mongod
Bu aşamadan sonra Mongodb çalışmaya başlar. Çalıştığını kontrol edebilmek için yeni bir terminal açılır:
  • $ mongodb-linux-x86_64-2.6.6/bin
  • $ ./mongo --> mongo shell açılır.
  • $ db.names.insert({ name : "Kakules" }) --> deneme amaçlı bir kayıt yapılır.
  • $ db.names.find() --> atılan kayıt sorgulanır
MongoDb yi açtığımızda varsayılan /data/db altında dosyalarını tutmaya çalışacaktır. Dosyaları nerede tutacağını açılış esnasında belirtebiliriz. Örneğin dosyaları /data/mongodb altında tutmasını istiyor isek:
  • $ su
  • $ mkdir /data
  • $ mkdir /data/mongodb
  • $ chmod 777  /data/mongodb
  • $ exit
  • $ cd mongodb-linux-x86_64-2.6.6/bin
  • $ ./mongod --dbpath /data/mongodb/

Gönderen zaman: Hiç yorum yok:
Kaydol: Kayıtlar (Atom)