东莞市盛裕绒艺玩具有限公司

东莞市盛裕绒艺玩具有限公司

亚洲城体育官方代理

15140358732
联系方式
全国服务热线: 15140358732

咨询热线:13653258038
联系人:董金华
地址:金水区黄河路78号

hadoop伪分布式安装

来源:亚洲城体育官方代理   发布时间:2019-11-23   点击量:22

hadoop有三种运行模式:1,本地运行模式:hadoop的默认模式,没有守护进程,所有的程序都在同一个jvm里运行,在该模式下调试MR程序非常方便。2,伪分布式模式,所有进程运行在一台服务器,效果跟分布式模式一样。3,分布式模式:进程运行在多台服务器上。 一、本地运行模式这是hadoop的默认工作模式,不需要进行其它配置,例如运行单词统计例子,直接运行命令:

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.1.jar wordcount /root/test/input/ /root/test/output注意:/root/test目录不要创建,运行前确保Java已安装。 运行完后在/root/test/output可看到输出文件  输出的内容在part-r-00000文件里,_SUCCESS文件为空,只是成功标识,查看part-r-00000文件内容:cat part-r-00000   二、伪分布式模式Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。1,安装ssh,如果已经安装过则跳过。yum install openssh-clients2,上传解压window环境下在官网下载hadoop压缩包hadoop-2.6.1.tar.gz,上传到centos服务器,把文件解压到/usr/local/下。     3,配置环境变量修改家目录下的.bashrc文件,添加hadoop环境变量:export JAVA_HOME=/usr/local/jdkexport HADOOP_HOME=/usr/local/hadoopexport PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin   然后加载环境变量:source ~/.bashrc4,修改配置文件伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml,配置文件在/usr/local/hadoop/etc/hadoop/中  修改配置文件 core-site.xml,修改为:

<configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property></configuration>修改配置文件 hdfs-site.xml,修改为:

<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/data</value> </property></configuration>5,格式化,配置完后要格式化才能启动。

./bin/hdfs namenode -format    6,启动hdfs./sbin/start-dfs.sh  用jps查看进程  在window下通过浏览器访问:http://192.168.103.137:50070至此hadoop启动成功!   问题1:没有安装ssh  提示ssh: command not found,需要安装ssh客户端:

yum install openssh-clients 问题2:JAVA_HOME没有配置   要添加JAVA_HOME变量,vi ~/.bashrc ,添加export JAVA_HOME=/usr/local/jdk   问题3:SSH免密登入在上面启动hdfs中需要手动输入密码,可配置SSH免密登入,这样启动过程中就不需要输入密码了。  1)ssh-keygen,然后一直回车2),将生成的公匙加入到授权列表中cat id_rsa.pub >> authorized_keys             

相关产品

COPYRIGHTS©2017 亚洲城体育官方代理 ALL RIGHTS RESERVED 备案号:22