ubuntu如何安装hadoop

准备工作

在开始安装hadoop之前，我们需要先确保我们的系统环境已经准备好：Ubuntu系统已经安装好，JDK已经安装好，并且网络已经连接好。下面是hadoop的几个关键版本信息：

hadoop: 3.1.0

JDK: Oracle JDK 8u171

Ubuntu: 16.04

下载和安装hadoop

首先，我们需要从官方网站下载hadoop的二进制包。下载完成后，我们可以将它解压至任意目录（以/opt/hadoop为例）：

tar -xzvf hadoop-3.1.0.tar.gz -C /opt

然后，我们需要设置hadoop的环境变量。将以下内容添加至/etc/profile文件的末尾：

export HADOOP_HOME=/opt/hadoop-3.1.0

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存文件并退出。然后，我们需要让系统重新加载profile文件：

source /etc/profile

现在，我们已经完成了hadoop的安装。

配置hadoop

在安装好hadoop之后，我们需要对hadoop进行配置。以下是hadoop的关键配置文件：

core-site.xml：配置Hadoop的核心参数。

hdfs-site.xml：配置Hadoop分布式文件系统（HDFS）的参数。

yarn-site.xml：配置Hadoop资源管理器（YARN）的参数。

mapred-site.xml：配置Hadoop MapReduce程序的参数。

我们需要在/opt/hadoop-3.1.0/etc/hadoop目录中创建这些配置文件。以下是我们的hadoop配置文件：

core-site.xml

<?xml version="1.0" encoding="UTF-8"?>

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop-3.1.0/data/dfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop-3.1.0/data/dfs/datanode</value>
  </property>
</configuration>

yarn-site.xml

<?xml version="1.0" encoding="UTF-8"?>

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
</configuration>

mapred-site.xml

<?xml version="1.0" encoding="UTF-8"?>

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

设置好配置文件后，我们还需要创建HDFS和日志的目录：

mkdir -p /opt/hadoop-3.1.0/data/dfs/namenode

mkdir -p /opt/hadoop-3.1.0/data/dfs/datanode
mkdir -p /opt/hadoop-3.1.0/logs

现在，我们已经完成了hadoop的配置。

启动hadoop

我们可以使用以下命令来启动hadoop：

start-all.sh

这个命令将启动hadoop的所有组件（NameNode，DataNode，ResourceManager和NodeManager）。我们可以使用以下命令来验证hadoop是否运行正常：

jps

如果一切正常，我们会看到以下输出：

12997 Jps

12743 NodeManager
12587 ResourceManager
12429 DataNode
12309 NameNode
12640 SecondaryNameNode

现在，我们已经成功安装和启动了hadoop。