dwsc:hdfs:install
Differences
This shows you the differences between two versions of the page.
|
dwsc:hdfs:install [2013/04/03 17:20] ivan |
dwsc:hdfs:install [2013/04/10 23:46] (current) ivan |
||
|---|---|---|---|
| Line 31: | Line 31: | ||
| chown -R zookeeper:zookeeper /var/lib/zookeeper/ | chown -R zookeeper:zookeeper /var/lib/zookeeper/ | ||
| </code> | </code> | ||
| + | |||
| A /etc/zookeeper/conf/zoo.cfg fájlban állítsuk be a szolgáltatásban résztvevő szervereket: | A /etc/zookeeper/conf/zoo.cfg fájlban állítsuk be a szolgáltatásban résztvevő szervereket: | ||
| Line 46: | Line 47: | ||
| service zookeeper-server start | service zookeeper-server start | ||
| - | ===== Hadoop HFDS failover controller telepítés ===== | + | ===== Hadoop HDFS failover controller telepítés ===== |
| A következő 2 gépre kell feltelepíteni: mgmt1, mgmt2 | A következő 2 gépre kell feltelepíteni: mgmt1, mgmt2 | ||
| Line 66: | Line 67: | ||
| /etc/hadoop/conf/zk-auth.txt beállítása: \\ | /etc/hadoop/conf/zk-auth.txt beállítása: \\ | ||
| digest:vodstorage01-zkfcs:<password> | digest:vodstorage01-zkfcs:<password> | ||
| + | |||
| + | A <password> helyére illesszünk be egy hosszú generált jelszót. | ||
| chown root:hdfs /etc/haddop/conf/zk-auth.txt \\ | chown root:hdfs /etc/haddop/conf/zk-auth.txt \\ | ||
| Line 263: | Line 266: | ||
| apt-get install hadoop-hdfs-fuse hadoop-client hadoop-mapreduce hadoop-0.20-mapreduce libssl0.9.8 | apt-get install hadoop-hdfs-fuse hadoop-client hadoop-mapreduce hadoop-0.20-mapreduce libssl0.9.8 | ||
| - | libssl0.9.8 csak squeeze-ben van, wheezy-re kell készíteni buildet. | + | TODO: libssl0.9.8 csak squeeze-ben van, wheezy-re kell készíteni buildet. |
| + | |||
| + | /etc/default/hadoop-ba érdemes felvenni: \\ | ||
| + | export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 | ||
| FUSE mount: \\ | FUSE mount: \\ | ||
| <code> | <code> | ||
| hadoop-fuse-dfs dfs://<namenode> <mount point> | hadoop-fuse-dfs dfs://<namenode> <mount point> | ||
| - | hadoop-fuse-dfs dfs://vodstorage01 /srv/users/default/content | + | hadoop-fuse-dfs dfs://vodstorage01 /srv/dwsc/users |
| </code> | </code> | ||
| + | |||
| + | fstab beállítás: | ||
| + | <code> | ||
| + | hadoop-fuse-dfs#dfs://vodstorage01 /srv/dwsc/users fuse notrash 0 0 | ||
| + | </code> | ||
| + | |||
| + | NFS root-ban chrootolva érdemes szerkeszteni, mert egy-két mappa symlinkelve van! | ||
| + | |||
| + | ===== HDFS státusz ellenőrzés ===== | ||
| + | http://172.28.28.1:50070/dfshealth.jsp vagy http://172.28.28.2:50070/dfshealth.jsp | ||
dwsc/hdfs/install.1365002423.txt.gz · Last modified: 2013/04/03 17:20 by ivan
Page Tools
Except where otherwise noted, content on this wiki is licensed under the following license: CC Attribution-Share Alike 3.0 Unported
