前置条件:
1、ubuntu10.10安装成功(个人认为不必要花太多时间在系统安装上,我们不是为了装机而装机的)
2、jdk安装成功(jdk1.6.0_23for linux版本,图解安装过程http://freewxy.iteye.com/blog/882784 )
3、下载hhadoop0.21.0.tar.gz(http://apache.etoak.com//hadoop/core/hadoop-0.21.0/ )
安装hadoop
1、首先将hadoop0.21.0.tar.gz复制到usr下的local文件夹内,(sudo cp hadoop路径 /usr/local)如图1
2、进入到local目录下,解压hadoop0.21.0.tar.gz,如图2
3、为方便管理和hadoop版本升级,将解压后的文件夹改名为hadoop,如图3
方便起见,新增hadoop的组和其同名用户:
1、创建一个名字为hadoop的用户组,如图4
2、创建一个用户名为hadoop的用户,归到hadoop组下,如图5(一些信息可以不填写,直接按enter键即可)如图5
3、(1)添加用户权限:打开etc下的sudoers文件,添加如下(2)命令,如图6
--------------------------------------------------------------------------------------------------------------------------------
(另一种方法是先切换到root用户下,然后修改sudoers的权限,但这样操作一定要小心谨慎,修改权限后要将文件改回只读,否则悲剧啦啦啦,我们一票人死在这点上好多次)
(2)在root ALL =(ALL) ALL 下面添加如下文字:
hadoop ALL = (ALL) ALL
如图7
-----------------------------------------------------------------------------
----------------------------------------------------------------------------------------------
(/etc/sudoers文件是用于sudo命令执行时审核执行权限用的)
执行命令:$:sudo chown hadoop /usr/local/hadoop(将hadoop文件夹的权限赋给hadoop用户)
安装ssh
(需联网):(了解ssh:http://freewxy.iteye.com/blog/910820)
1、安装openssh_server:如图8
2、创建ssh-key,为rsa,如图9
填写key的保存路径,如图10填写
3、添加ssh-key到受信列表,并启用此ssh-key,如图11
4、验证ssh的配置,如图12
配置hadoop
0、浏览hadoop文件下都有些什么东西,如图13
1、打开conf/hadoop-env.sh,如图14
配置conf/hadoop-env.sh(找到#export JAVA_HOME=...,去掉#,然后加上本机jdk的路径),如图15
---------------------------------------------------------------------------------------------
--------------------------------------------------------------------------------------
2、打开conf/core-site.xml
配置,如下内容:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
</property>
</configuration>
3、打开conf目录下的mapred-site.xml
配置如下内容:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
运行测试
:
1、改变用户,格式化namenode,如图18
可能遇到如下错误(倒腾这个过程次数多了),如图19
执行如图20,再次执行如图18
2、启动hadoop,如图21
3、验证hadoop是否成功启动,如图22
运行自带wordcount例
子(jidong啊)
1、准备需要进行wordcount的文件,如图23(在test.txt中随便输入字符串,保存并退出)
-------------------------------------------------------------------------------------------
2、将上一步中的测试文件上传到dfs文件系统中的firstTest目录下,如图24(如果dfs下不包含firstTest目录的话自动创建一个同名目录,使用命令:bin/hadoop dfs -ls查看dfs文件系统中已有的目录)
3、执行wordcount,如图25(对firstest下的所有文件执行wordcount,将统计结果输出到result文件夹中,若result文件夹不存在则自动创建)
4、查看结果,如图26
单机版搞定~~
参考+修订:http://vampire1126.iteye.com/blog/891693
- 大小: 39.6 KB
- 大小: 38.9 KB
- 大小: 28 KB
- 大小: 16 KB
- 大小: 69.1 KB
- 大小: 46.9 KB
- 大小: 17.3 KB
- 大小: 46.8 KB
- 大小: 40.3 KB
- 大小: 60.5 KB
- 大小: 47 KB
- 大小: 47.1 KB
- 大小: 127.8 KB
- 大小: 9.6 KB
- 大小: 12.8 KB
- 大小: 13.4 KB
- 大小: 91.9 KB
- 大小: 3.6 KB
- 大小: 14.7 KB
- 大小: 18.4 KB
- 大小: 36.4 KB
- 大小: 47.6 KB
- 大小: 122.2 KB
- 大小: 102.8 KB
分享到:
相关推荐
大数据云计算技术系列 hadoop单机版搭建图文详解(共14页).rar
前置条件: 1、ubuntu10.10安装成功(个人认为不必要花太多时间在系统安装上,我们不是为了装机而装机的) ...1、首先将hadoop0.21.0.tar.gz复制到usr下的local文件夹内,(sudo cp hadoop路径 /usr/local)如图
Hadoop超详细介绍,详情介绍了Hadoop的安装
搭建hadoop单机版+hbase单机版+pinpoint整合springboot
本文主要介绍了在Ubuntu系统上Hadoop单机版测试环境的搭建过程。
Hadoop单机环境搭建,实战篇
我成功的配置了Hadoop单击版和集群版,里面既有单机版,也有完全分布式版本;
安装Hadoop(单机版和集群)详细步骤
此文档在hadoop集群搭建完毕之后,在集群之外搭建一个hadoop集群的开发环境,用于编写hadoop实际处理程序,还包括了如何提交任务等。整体非常详细,如需要其他hadoop集群搭建资源可以联系我,免费给q:1487954071
这是本人精心整理和编写的Hadoop单机版配置。详细描述了每一个步骤
王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第二讲Hadoop图文训练课程:全球最详细(不放过任何一个细节)的从零起步搭建Hadoop单机和伪分布式开发环境图文教程.pdf
hadoop单机版安装教程
Hadoop2.4linux安装配置过程详细过程。
我自己搭建windows下的hadoop集群,并且图文记录下了安装过程,亲测,没有问题,一步步按着做可以用windows下虚拟机搭建一个hadoop集群
Hadoop 2.3.0分布式集群搭建图文
linux单机版环境搭建Hadoop图文教程整理.pdf
hadoop伪分布搭建步骤
hadoop2.8.1分布式集群搭建,有详细的图文,只要按照操作一步步的来,基本上都能完成搭建
hadoop集群搭建高可用文档在Hadoop2.x之后的版本,提出了解决单点问题的方案--HA(High Available 高可用)。这篇博客阐述如何搭建高可用的HDFS和YARN,执行步骤如下: 创建hadoop用户 安装JDK 配置hosts 安装SSH ...
NULL 博文链接:https://turnround.iteye.com/blog/1974337