阿哥论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

新浪微博账号登陆

只需一步,快速开始

搜索
查看: 390|回复: 0

Hadoop secondarynamenode两种配置方式

[复制链接]

2011

主题

1

好友

1万

积分

管理员

Rank: 9Rank: 9Rank: 9

优秀会员 助人为乐 辛勤工作 技术精英 多才多艺 优秀班竹 灌水天才 星球管理 宣传大使 灌水之王 财富勋章 版主勋章 动漫勋章 勤奋会员 论坛精英 PS高手 心 8 闪游皮肤 双鱼座 8★8➹ 志愿者 乖

发表于 2015-6-19 14:49:13 |显示全部楼层
hadoop secondarynamenode两种配置方式
hadoop secondarynamenode的两种配置方式,hadoop版本是hadoop-1.0.4:
集群分配关系:
  1. masterJobTracker&&Namenode
  2. node1Secondarynamenode
  3. node2TaskTracker&&Datanode
  4. node3TaskTracker&&Datanode
  5. node4TaskTracker&&Datanode
复制代码
配置1:
1.conf/core-site.xml:
  1. <configuration>
  2. <property>
  3.         <name>hadoop.tmp.dir</name>
  4.         <value>/home/hadoop/hadooptmp</value>
  5.         <description>A base for other temporary directories.</description>
  6. </property>

  7. <property>
  8.         <name>fs.default.name</name>
  9.         <value>hdfs://master:9000</value>
  10. </property>
  11. </configuration>
复制代码
2.conf/hadoop-env.sh:
  1. export Java_HOME=/home/hadoop/jdk1.x.x_xx
复制代码
3. conf/hdfs-site.xml:
  1. <configuration>
  2. <property>
  3.         <name>dfs.replication</name>
  4.         <value>2</value>
  5. </property>

  6. <property>
  7.      <name>dfs.data.dir</name>
  8.      <value>/home/hadoop/hadoopfs/data</value>
  9. </property>
  10. <property>
  11.         <name>dfs.http.address</name>
  12.         <value>master:50070</value>
  13. </property>

  14. <property>
  15.         <name>dfs.back.http.address</name>
  16.         <value>node1:50070</value>
  17. </property>

  18. <property>
  19.         <name>dfs.name.dir</name>
  20.         <value>/home/hadoop/hadoopfs/name</value>
  21. </property>

  22. <property>
  23.         <name>fs.checkpoint.dir</name>
  24.         <value>/home/hadoop/hadoopcheckpoint</value>
  25. </property>

  26. <property>
  27. <name>dfs.permissions</name>
  28. <value>false</value>
  29. </property>
  30. </configuration>
复制代码
4.conf/mapred-site.xml:
  1. <configuration>
  2. <property>
  3.         <name>mapred.job.tracker</name>
  4.         <value>master:9001</value>
  5. </property>
  6. <property>
  7.         <name>mapred.tasktracker.map.tasks.maximum</name>
  8.         <value>4</value>
  9. </property>
  10. <property>
  11.         <name>mapred.tasktracker.reduce.tasks.maximum</name>
  12.         <value>4</value>
  13. </property>
  14. <property>
  15.         <name>mapred.child.java.opts</name>
  16.         <value>-Xmx1000m</value>
  17. </property>
  18. </configuration>
复制代码
5. conf/masters:
  1. master
复制代码
6.conf/secondarynamenode(此为新建的文件)
  1. node1  
复制代码
7. conf/slaves:
  1. node2
  2. node3
  3. node4
复制代码
8.bin/start-dfs.sh:
  1. "$bin"/hadoop-daemon.sh --config $HADOOP_CONF_DIR start namenode $nameStartOpt
  2. "$bin"/hadoop-daemons.sh --config $HADOOP_CONF_DIR start datanode $dataStartOpt
  3. "$bin"/hadoop-daemons.sh --config $HADOOP_CONF_DIR --hosts secondarynamenode start secondarynamenode
复制代码
9.bin/stop-dfs.sh:
  1. "$bin"/hadoop-daemon.sh --config $HADOOP_CONF_DIR stop namenode $nameStartOpt
  2. "$bin"/hadoop-daemons.sh --config $HADOOP_CONF_DIR stop datanode $dataStartOpt
  3. "$bin"/hadoop-daemons.sh --config $HADOOP_CONF_DIR --hosts secondarynamenode stop secondarynamenode
复制代码
配置2:
1.conf/core-site.xml:
  1. <configuration>
  2. <property>
  3.         <name>hadoop.tmp.dir</name>
  4.         <value>/home/hadoop/hadooptmp</value>
  5.         <description>A base for other temporary directories.</description>
  6. </property>

  7. <property>
  8.         <name>fs.default.name</name>
  9.         <value>hdfs://master:9000</value>
  10. </property>
  11. </configuration>
复制代码
2.conf/hadoop-env.sh:
  1. export JAVA_HOME=/home/hadoop/jdk1.x.x_xx
复制代码
3. conf/hdfs-site.xml:
  1. <configuration>
  2. <property>
  3.         <name>dfs.replication</name>
  4.         <value>2</value>
  5. </property>

  6. <property>
  7.      <name>dfs.data.dir</name>
  8.      <value>/home/hadoop/hadoopfs/data</value>
  9. </property>
  10. <property>
  11.         <name>dfs.http.address</name>
  12.         <value>master:50070</value>
  13. </property>

  14. <property>
  15.         <name>dfs.back.http.address</name>
  16.         <value>node1:50070</value>
  17. </property>

  18. <property>
  19.         <name>dfs.name.dir</name>
  20.         <value>/home/hadoop/hadoopfs/name</value>
  21. </property>

  22. <property>
  23.         <name>fs.checkpoint.dir</name>
  24.         <value>/home/hadoop/hadoopcheckpoint</value>
  25. </property>

  26. <property>
  27. <name>dfs.permissions</name>
  28. <value>false</value>
  29. </property>
  30. </configuration>
复制代码
4.conf/mapred-site.xml:
  1. <configuration>
  2. <property>
  3.         <name>mapred.job.tracker</name>
  4.         <value>master:9001</value>
  5. </property>
  6. <property>
  7.         <name>mapred.tasktracker.map.tasks.maximum</name>
  8.         <value>4</value>
  9. </property>
  10. <property>
  11.         <name>mapred.tasktracker.reduce.tasks.maximum</name>
  12.         <value>4</value>
  13. </property>
  14. <property>
  15.         <name>mapred.child.java.opts</name>
  16.         <value>-Xmx1000m</value>
  17. </property>
  18. </configuration>
复制代码
5. conf/masters:
  1. node1
复制代码
7. conf/slaves:
  1. node2
  2. node3
  3. node4
复制代码
还有就是昨天写的secondarynamenode的使用,应该也是有拷贝secondarynamenode的文件到namenode的过程的,
因为昨天测试的时候只是在一个机器上搞,所以就少了复制这一步,今天用了集群进行测试,才发现要拷贝的。
上面的两种方式已经经过集群测试,证明可用。


分享,快乐,成长


摘自:http://blog.csdn.net/fansy1990/article/details/8990206









Hadoop secondarynamenode两种配置方式

该会员没有填写今日想说内容.
您需要登录后才可以回帖 登录 | 立即注册 新浪微博账号登陆

回顶部