数据价值-DataValues

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 292|回复: 0

[hadoop] hadoop安装配置超详细步骤_hadoop安装配置

[复制链接]

1万

主题

1万

帖子

3万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
39797
发表于 2016-3-31 15:18:03 | 显示全部楼层 |阅读模式
hadoop安装配置超详细步骤_hadoop安装配置
上一期我们讲了什么是hadoop,这一期我们讲hadoop的安装部署。hadoop安装并不难,一共有三种部署方式,分别是本地部署、伪分布部署、集群部署。由于hadoop伪分布模式的工作原理和集群模式的工作原理一样,这里我们以伪分布模式为例进行讲解。


工具/原料

rhel6.4操作系统、jdk-6u20-linux-i586.bin、hadoop-1.2.1.tar.gz


方法/步骤

1

首先讲讲安装思路。一、搭建系统环境,配置ip,主机名,设置ssh无密码登录;二、配置jdk环境;三、安装部署hadoop。

2

一、我们首先讲系统环境的配置。为系统配置一个ip地址,由于较简单,这里不做赘述。我这里做了双网卡绑定,IP地址为192.168.142.10。




3

为系统配置主机名。命令:vi /etc/sysconfig/network。(注:主机名修改完成后需要重启主机)





添加hosts解析记录,命令:vi /etc/hosts,具体内容如图片中所示。





配置ssh无密码认证。执行如下命令:ssh-keygen。此处如果不会可以一直敲回车。执行完之后,将密钥拷贝到认证文件中,命令:ssh-copy-id 192.168.142.10,然后根据提示进行操作。





二、接下来配置jdk。首先将下载下来的jdk-6u20-linux-i586.bin拷贝至rhel6.4系统中的/usr/local目录中。注:可以通过winscp这个工具进行拷贝,也可以通过xftp进行拷贝。





解压缩jdk,首先赋予jkd文件执行权限。命令:chmod a+x /usr/local/jdk-6u20-linux-i586.bin;解压缩命令:./jdk-6u20-linux-i586.bin;然后依据提示进行操作。解压后会生成一个目录:jdk1.6.0_20,为了便于后期配置java环境变量,我们把这个目录重命名为jdk,命令:mv /usr/local/jdk1.6.0_20 /usr/local/jdk;





接着配置jdk环境变量,编辑/etc/profile文件,添加图片中标红的内容。命令:vi /etc/profile





三、安装部署hadoop。首先从官网下载hadoop软件包,这里我们下载的是hadoop-1.2.1.tar.gz版本。然后拷贝rhel6.4的/usr/local目录下,并解压缩。命令:tar zxvf hadoop-1.2.1.tar.gz;解压后会生成一个名为 hadoop-1.2.1的目录,我们接着把这个目录重命名为hadoop。命令:mv /usr/local/hadoop-1.2.1 /usr/loca/hadoop;





接着配置hadoop家目录环境变量。vi /etc/profile,添加图片所示内容。





接下来我们需要改四个配置文件hadoop-env.sh;core-site.xml;hdfs-site.xml;mapred-site.xml;





首先修改hadoop-env.sh文件,配置如图所示。





接下来我们修改core-site.xml配置文件,具体如图所示。




14

接下来修改hdfs-site.xml文件,具体如图所示。




15

然后修改mapred-site.xml文件具体内容如图所示。




16

接下来在启动hadoop之前需要格式化hdfs。命令:hadoop namenode -format;




17

启动hadoop并验证。启动命令:start-all.sh;验证命令:jps




18

至此,hadoop伪分布模式就已经安装完成,不知对您是否有所启发。(来源:百度经验)

[/ol]




,
,
转载请注明:数据分析 » hadoop安装配置超详细步骤_hadoop安装配置
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|Archiver|手机版|DataValues ( 赣ICP备16006919号-3 点击这里给我发消息 DataValues

GMT+8, 2019-2-19 21:40 , Processed in 0.139727 second(s), 32 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表