Linux/Python学习论坛-京峰教育

 找回密码
 立即注册

一键登录:

搜索
热搜: 活动 交友 discuz
查看: 727|回复: 0

一份Hadoop集群的配置

[复制链接]

238

主题

288

帖子

1925

积分

超级版主

Rank: 8Rank: 8

积分
1925
QQ
发表于 2015-3-18 11:23:48 | 显示全部楼层 |阅读模式
一份hadoop集群的配置




[hadoop@SL64Hadoop1 ~]$ cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
10.0.0.2 SL64Hadoop1
10.0.0.3 SL64Hadoop2
10.0.0.4 SL64Hadoop3
10.0.0.5 SL64Hadoop4
[hadoop@SL64Hadoop1 ~]$


[hadoop@SL64Hadoop1 ~]$ cat hadoop-2.3.0/etc/hadoop/slaves
SL64Hadoop2
SL64Hadoop3
SL64Hadoop4
[hadoop@SL64Hadoop1 ~]$




[hadoop@SL64Hadoop1 hadoop]$ vim hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.9.x86_64/jre
[hadoop@SL64Hadoop1 hadoop]$


[hadoop@SL64Hadoop1 hadoop]$ cat core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <property>
                <!-- 定义主机名称和namenode的RPC服务器工作的端口,默认是8020 -->
                <name>fs.default.name</name>
                <value>hdfs://SL64Hadoop1/</value>
                <final>true</final>
        </property>
        <property>
                <!-- 辅助I/O操作的缓冲区大小, 默认4K。 增大以显著提升性能。-->
                <name>io.file.buffer.size</name>
                <value>131072</value>
                <final>true</final>
        </property>
        <property>
                <!-- Hadoop的默认临时路径,这个最好配置,如果在新增节点或者其他情况下莫名其妙的DataNode启动不了,就删除此文件中的tmp目录即可。不过如果删除了NameNode机器的此目录,那么就需要重新执行NameNode格式化的命令。 -->
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/tmp/hadoop</value>
        </property>
</configuration>
[hadoop@SL64Hadoop1 hadoop]$




[hadoop@SL64Hadoop1 hadoop]$ cat hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>


<configuration>
        <property>
                <!-- namenode存储永久性元数据的目录列表。namenode在列表上的各个目录中均存放相同的元数据文件 -->
                <name>dfs.name.dir</name>
                <value>file:///home/hadoop/disk1/hdfs/name,file:///home/hadoop/remote/hdfs/name</value>
                <final>true</final>
        </property>


        <property>
                <!-- datanode 存放数据库的目录列表。各个数据块分别存放于某一个目录中 -->
                <name>dfs.data.dir</name>
                <value>/home/hadoop/disk1/hdfs/data,/home/hadoop/disk2/hdfs/data</value>
                <final>true</final>
        </property>


        <property>
                <!-- 辅助namenode存放检查点的目录列表。在所有列的各个目录中分别存放一份检查点文件的副本 -->
                <name>fs.checkpoint.dir</name>
                <value>/home/hadoop/disk1/hdfs/namesecondary,/home/hadoop/disk2/hdfs/namesecondary</value>
                <final>true</final>
        </property>


        <property>
                <!-- 默认64MB,设置更大值以缓解namenode的内存压力 -->
                <name>dfs.block.size</name>
                <value>256m</value>
                <final>true</final>
        </property>


        <property>
                <!-- 默认datanode会使用存储目录上的所有空间, 这个值用来指定保留的空间大小,单位字节 -->
                <name>dfs.datanode.du.reserved</name>
                <value>102400000</value>
                <final>true</final>
        </property>
</configuration>
[hadoop@SL64Hadoop1 hadoop]$


[hadoop@SL64Hadoop1 hadoop]$ cat mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>


<configuration>
        <property>
                <!-- jobtracker的RPC服务器所在的主机名和端口号。如果设置为默认值local,则运行一个MapReduce作业时,jobtracker即时以处理时模式运行(用户无需启动jobtracker) -->
                <name>mapred.job.tracker</name>
                <value>jobtracker:8021</value>
                <final>true</final>
        </property>


        <property>
                <!-- 存储作业中间数据的一个目录列表,作业终止时数据被删除 -->
                <name>mapred.local.dir</name>
                <value>/home/hadoop/disk1/mapred/local,/home/hadoop/disk2/mapred/local</value>
                <final>true</final>
        </property>


        <property>
                <!-- 在作业运行时存储共享文件的目录,相对于fs.default.name -->
                <name>mapred.system.dir</name>
                <value>/home/hadoop/tmp/hadoop/mapred/system</value>
                <final>ture</final>
        </property>


        <property>
                <!-- 在任一时刻,运行在tasktracker之上的map任务的最大数 -->
                <name>mapred.tasktracker.map.tasks.maximum</name>
                <value>7</value>
                <final>true</final>
        </property>


        <property>
                <!-- 在任一时刻,运行在tasktracker之上的reduce任务的最大数 -->
                <name>mapred.tasktracker.reduce.tasks.maximum</name>
                <value>7</value>
                <final>true</final>
        </property>


        <property>
                <!-- JVM选项,用于启动运行map和reduce任务的tasktracker子进程。该属性可以针对每个作业进行设置。 -->
                <name>mapred.child.java.opts</name>
                <value>-Xmx400m</value>
                <!-- Not marked as final so jobs can include JVM debugging options -->
        </property>
</configuration>
[hadoop@SL64Hadoop1 hadoop]$

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|小黑屋|京峰教育,只为有梦想的人 ( 京ICP备15013173号 )

GMT+8, 2020-8-6 14:19 , Processed in 0.030323 second(s), 14 queries , Apc On.

快速回复 返回顶部 返回列表