大数据学习系列之一 ----- Hadoop环境搭建(单机)-白红宇

大数据学习系列之一 ----- Hadoop环境搭建(单机)

阅读量：5824 次

发布时间：2019-06-18

本文共 4058 字，大约阅读时间需要 13 分钟。

一、环境选择

1，服务器选择

阿里云服务器:入门型(按量付费)

操作系统:linux CentOS 6.8

Cpu：1核

内存：1G

硬盘:40G

ip:39.108.77.250

2，配置选择

JDK:1.8 （jdk-8u144-linux-x64.tar.gz）

Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)

3，下载地址

官网地址:

JDK：

Hadopp:

百度云:

链接：密码：yb79

二、服务器的相关配置

在配置Hadoop之前，应该先做以下配置

1，更改主机名

首先更改主机名，目的是为了方便管理。

输入:

hostname

查看本机的名称

然后输入:

vim /etc/sysconfig/network

修改主机名称

将HOSTNAME 的名称更改为你想要设置的名称

注:主机名称更改之后，要重启(reboot)才会生效。

输入

vim /etc/hosts

添加主机IP 和对应的主机名称，做映射。

注:在配置文件中使用主机名的话，这个映射必须做！

2，关闭防火墙

关闭防火墙，方便外部访问。

CentOS 7版本以下输入:

关闭防火墙

service   iptables stop

CentOS 7 以上的版本输入：

systemctl   stop   firewalld.service

3，时间设置

输入:

date

查看服务器时间是否一致，若不一致则更改

更改时间命令

date -s ‘MMDDhhmmYYYY.ss’

三、Hadoop环境安装

1，下载jdk、hadoop

将下载下来的 jdk、hadoop 解压包放在home 目录下

并新建java、hadoop文件夹

3.1.1解压文件

输入:

tar -xvf jdk-8u144-linux-x64.tar.gz

tar -xvf hadoop-2.8.2.tar.gz

解压jdk和hadoop ,分别移动文件到java和hadoop文件下，

并将文件夹重命名为jdk1.8和hadoop2.8

2，JDK环境配置

首先输入

java -version

查看是否安装了JDK，如果安装了，但版本不适合的话，就卸载

3.2.1 profile 文件更改

编辑 /etc/profile 文件

输入:

vim /etc/profile

整体的配置文件:

export JAVA_HOME=/home/java/jdk1.8export JRE_HOME=/home/java/jdk1.8/jreexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/libexport PATH=.:${JAVA_HOME}/bin:$PATH

这里写图片描述

注: JAVA_HOME的路径是 JDK的路径

使用vim 编辑之后记得输入

source /etc/profile

使配置生效

配置完后，输入java -version 查看版本信息

3，Hadoop 环境配置

3.3.1 profile 文件更改

编辑 /etc/profile 文件

输入:

vim /etc/profile

整体的配置文件:

export HADOOP_HOME=/home/hadoop/hadoop2.8export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

这里写图片描述

输入:

source  /etc/profile

使配置生效

修改配置文件

3.3.2新建文件夹

在修改配置文件之前，现在root目录下建立一些文件夹。

输入:

mkdir  /root/hadoop  mkdir  /root/hadoop/tmp  mkdir  /root/hadoop/var  mkdir  /root/hadoop/dfs  mkdir  /root/hadoop/dfs/name  mkdir  /root/hadoop/dfs/data

注:在root目录下新建文件夹是防止被莫名的删除。

首先切换到 /home/hadoop/hadoop2.8/etc/hadoop/ 目录下

3.3.3修改 core-site.xml

输入:

vim core-site.xml

在<configuration>添加:


    
             
      
       hadoop.tmp.dir
              
      
       /root/hadoop/tmp
              
      
       Abase for other temporary directories.
         
        
             
      
       fs.default.name
              
      
       hdfs://test1:9000

这里写图片描述

说明: test1 可以替换为主机的ip。

3.3.4修改 hadoop-env.sh

输入:

vim hadoop-env.sh

将${JAVA_HOME} 修改为自己的JDK路径

export   JAVA_HOME=${JAVA_HOME}

修改为：

export   JAVA_HOME=/home/java/jdk1.8

这里写图片描述

3.4.5修改 hdfs-site.xml

输入:

vim hdfs-site.xml

在<configuration>添加:


       
     
      dfs.name.dir
        
     
      /root/hadoop/dfs/name
        
     
      Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.
     
    
       
     
      dfs.data.dir
        
     
      /root/hadoop/dfs/data
        
     
      Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.
     
    
       
     
      dfs.replication
        
     
      2
     
    
          
     
      dfs.permissions
           
     
      false
           
     
      need not permissions

这里写图片描述

说明：dfs.permissions配置为false后，可以允许不要检查权限就生成dfs上的文件，方便倒是方便了，但是你需要防止误删除，请将它设置为true，或者直接将该property节点删除，因为默认就是true。

3.4.6 修改mapred-site.xml

如果没有 mapred-site.xml 该文件，就复制mapred-site.xml.template文件并重命名为mapred-site.xml。

输入:

vim mapred-site.xml

修改这个新建的mapred-site.xml文件，在<configuration>节点内加入配置:


        
     
      mapred.job.tracker
         
     
      test1:9001
     
    
          
     
      mapred.local.dir
            
     
      /root/hadoop/var
     
    
           
     
      mapreduce.framework.name
            
     
      yarn