本内容由系统网小编为大家分享，Windows系统安装教程、办公系统、软件怎么使用、软件使用教程、办公软件攻略等信息。

目录

Hadop2.8 安装单机模式的 Hadop2.8 安装

1 Hadop 安装模式概览

2 软件准备

3 安装单机式哈多普2.8

第一任务:安装 JDK

任务2:设置 Hadop

4 安装总结

资源参考

安装Hadop2.8

1 安装Pseudo分配模式的Hadop2.8

任务1节点现已投入运作。

步骤2:配置 HDFS 安装配置

第3步:配置 YARN 安装配置

2 安装总结

3 附录

完全分布的Hadop2.8安装

1 安装概述

2 节点规划

3 节点准备

第1步:设置虚拟机器

步骤2:解密SSH配置

第3步:应当为肯尼迪做好准备。

已安装了4个Hadop集束器。

第1步:在一个单一节点上安装 Hadop 设置 。

第2步:散散分布

第三步:格式名称节点

第四步:核实哈多普的身份。

5 附录

5.1 其他参考

5.2 FAQ

通过运行 [root@vm01- OpenEuler 软件包] 停止集 # 关闭- h 现在 。

1个节点, 2个数据节点( 完全分布), 1 个 kerberos kdc

安装第一个节点时注意重复,而不是环境完成后。

因为以下三个电脑都是从第一个电脑复制的, 主机名、密码和IP地址都是一样的, 我们在这里逐个换了它们。

记录后,类型为vi/etc/主机名。

修改 vm01、 vm02 和 vm03 四个节点的主机名, 修改为 hadoop01、 hadop02 和 hadop03, 供今后参考 。

修改网关：

cd /etc/sysconfig/network-scripts/vi ifcfg-enp0s3

我配置了Hadoop01 网关如下: hadoob02:; hadoob03:; kerberos:

然后重新启动四台机器:重新启动,重新启动,重新启动,重新启动,重新启动,重新启动,重新启动,重新启动,重新启动,重新启动,重新启动,重新启动,重新启动,重新启动,重新启动,重新启动,重新启动

结果展示如下：

hadoop01：

hadoop02：

hadoop03：

kerberos：

Hadop2.8 安装单机模式的 Hadop2.8 安装

1 Hadop 安装模式概览

哈多普的三种安装模式:

一. 本地模式(独立)模式[本地模式(独立)模式]

Hadoop 的默认模式为单一模式 。

所有 Hadop 组件( 名称节点、 数据节点.. ) 都在同一个 Java 进程下运行 。

使用更谨慎最小配置时, 配置文件一般为空 。

Hadoop完全在当地运作,不需要与其他节点互动(因此,单一机器模式不需要SSH自由着陆)。

单一模式不使用 HDFS, 也不运行任何 Hadop 守护进程 。

此模式最常用于为调试 MapReduce 进程创建应用逻辑。

二. 英文的模拟分发模式

在一台机器上,假分发模式被用来模仿充分运转的微型集群。

每个组成部分都有自己的爪哇虚拟机器,在网络上进行互动。

从伪分发模式(包括完全分散模式)开始,必须配置SSH免费访问。

Hadoop以假分销方式以全面分布的方式经营,因此可用于学习和发展。

完全分配模式 [可分配模式]是第三个选项。

与往常一样安装Hadop(Hadop)

Hadop 正在多个主机上运行, 形成 Hadop 集群 。

2 软件准备

操作系统：

virtual Box+openEuler20.03LTS

JDK 1.8

JDK1.8 (1). 要下载的链接: Java 下载 Oracle

Hadop 2. 下载的八点链接: Apache 下载镜像

SSH工具

MobaXterm

3 安装单机式哈多普2.8

第一任务:安装 JDK

第1步:使用 Ssh 工具连接虚拟计算机。

虚拟机器的 IP 地址 :

第2步:将 JDK 复制到用户的主目录 。

将下载的 linux 版本 jdk 拖放到使用 MobaXterm 工具的用户主目录中, 然后创建一个新的软件包文件夹, 将 root 的主目录作为/ root, 即软件包/ root :

步骤3:释放jdk。

解压完成：

第4步:将JDK传输到安装站点

移到完成：

第5步:自定义环境变量

在文件结尾处添加：

运行结果：

保存退出。

步骤6将设置付诸行动并核实jdk。

运行结果：

任务2:设置 Hadop

第1步:将hashop安装软件包放在 /root/package 目录中。

使用 MobaXterm 工具, 将下载的 Hadoop 安装软件包拖放到用户/ root/ package 目录中 :

第2步:下载未压缩 Hadoop 安装程序

运行结果：

第3步:将 Hadoop 转到安装

运行结果：

注意：

了解Linux的程序安装目录对于系统管理也非常重要。

/usr: 系统级目录,通常称为C:/Windows/，/usr/lib理解为C:/Windows/System32。 /usr/local用户级程序目录,又称C:/Progrem Files/默认情况下, 用户创建的软件将安装在此目录中 。 /opt用户级程序目录,又称D:/Software,选择具有可选的含义,可用于在不需要时插入第三方大型软件(或游戏)。rm -rf如果硬盘驱动能力不足,也可以将硬盘/硬盘单独安装在额外的磁盘上。

源码放哪里？ /usr/src系统一级的源目录。 /usr/local/src:用户级源目录。

步骤4:配置 Hadoop 环境变量

将 Hadoop 可执行程序添加到 PATH 变量( 可执行程序分别存储在 bin 和 sbin 之下), 然后在配置文件结束时添加以下内容:

运行结果：

保存退出。

步骤5:考虑环境因素。

步骤6:为 Hadop 安装 JDK

Hadoop: Hadoop 配置文件通常存储在 etc/ hanoop 安装目录下 。

这是2011年埃及抗争特别报导的一部分。

将JAVA_HOME线更改如下:

更改为真实的 Java 安装地点 :

修改后文件：

保存退出。

Note：

这是要将真正的 JDK 位置置于系统环境变量中, 而不是 JAVA_ HOME, 因此在系统中有许多 JDK 被 Hadoop 滥用 JDK 的 JDK 。

如果您忘记了爪哇的安装, 您可以使用以下命令检查它 。

echo $JAVA_HOME

或者：

which javac

第七步: 校验 Hadop 安装 。

1) 获得帮助,使用Hadoop:

2) 看看哈多普的版本

运行结果：

3）单词统计测试

运行过程：

$ cat output/*

单词统计结果：

Note：

如果出现如下警告：

WARN io.ReadaheadPool: Failed readahead on ifile EBADF: Bad file descriptor

根据信件预读文档时出现文件关闭问题 。

测试完成后, 返回根目录并删除输入和输出目录 。

[root@hadoop01 ~]# rm -rf input/[root@hadoop01 ~]# rm -rf output/

4 安装总结

在本地模式中,只有一个 Java 进程(使用 jps 时看不到 hadoop) 。

默认本地模式是用于调试, 不使用 hdfs, 不需要格式化命名节点, 不以启动- 全部启动节点等开始, 在启动后没有与 hdfs 相关的节点 。

限制着陆并不需要使用当地模式。

以本地模式忽略防火墙。

资源参考

Apache Hadop 2. Ten. 以单一点模式建立单一节点结节。

安装Hadop2.8

1 安装Pseudo分配模式的Hadop2.8

以下安装程序取决于在前一步完成Hadoop单点模式安装。

任务1节点现已投入运作。

步骤1:关闭所有防火墙。

用命令关闭防火墙 :

第2步:将 ssh 配置分类

如果输入如下命令：

在某些情况下,我们需要配置非账面着陆,例如密码的以下查询。

1）生成公钥和私钥

一路回车即可：

制作的公共和私人密钥文件保存在目前用户的主目录中。

私人密钥是 id_rsa, 公用密钥是 id_rsa.Pub 。

(2) (2) 将公用密钥包含在 Ssh 赠款列表文件中

运行如下命令：

最新制作的经授权的Keys文件看起来是这样的:

3) SSH解密配置验证:

再次执行如下命令：

由于实施,不再需要密码。

Note：

如果 ssh 没有设置或解密失败, 启动程序将不再需要您输入密码, 没有密码或不正确, 组件无法正常启动 。

步骤2:配置 HDFS 安装配置

第1步:HDFS设置

书目资料载于书目安装等/书目目录中:

1) 设置核心站点. xml 文件 :

这篇文章是埃及2011年抗议活动的一部分,

在文件中包括以下内容:

修改后的文件如下：

Note：

“ confuture” 一词已经存在。 只需输入属性标签中的内容。 本案使用的端口号是 9,00 。

客户端使用900个端口与集束节点节点 rpc 连接。以前,8020个港口是默认使用的。8020号端口目前仅用于数据节点与名称节点之间的心跳通信。附录载有哈道普共同港口的具体清单。

注意，关键是要建立小便小便目录 。不要使用默认配置，如果您想要使用默认设置来正式安装 Hadoop 文档, 您可以这样做 。这是重新启动新服务器的第一个机会。Linux 将自动删除 tmp 目录 。Hadoop 文件系统将因此丢失 。结果是,你必须重新适应Hdfs。此外,先前使用 hdfs 保存的所有文件都将丢失 。

(2) 编辑 hdfs- site. xml 文件。

对不起,但我不明白你在说什么。 xml档案:

添加如下内容：

最终文件如下：

Note：

标签“ 未来” 已经存在。 只需输入属性标签中的内容 。

伪分发模式的复制系数为 1 。 记住!

第2步:建立格式化的HDFS系统

运行如下命令：

以下信息显示 hdfs 已成功格式化 :

hdfs系统位于安装目录/tmp目录/opt/hadoop内,根据前台。 xml 文件的配置。

第三步:发射HDFS

通过发布以下命令开始命名节点和数据节点进程:

运行结果：

Note：

Hadoop 启动进程日志默认位于 Hadoop 安装目录的日志文件夹中 。

我不知道, start-dfs.sh 开始脚本在安装 athadoop 目录的 sbin 目录中 。

使用 jps,我们可以看到java过程 在哈多普发射后。如果有三个进程, 即二级名称节点、 数据节点和名称节点, 它表示启动成功 。次要名称节点被称为检查节点。如果该程序未完全启动,检查哈多普的启动日志

步骤4: hdfs 认证

1) 以浏览器为基础访问名称节点的网络界面:

http://192.168.56.210:50070

Note：

x 中名称节点的网络接口端口应该是 Hadop3 9870 。

应当指出, IP 安装在 Hadoop 伪分配机器的虚拟机器 Ip 上。 如果无法访问此页面, 请检查防火墙关闭步骤是否缺失, 并执行以下指示以重新关闭防火墙 :

禁用防火墙效果 :

2) 地图降压验证

一. 无法为 %s 创建文件夹锁定:%s。

执行效果：

二. 将统计档案移交到HDFS。

执行效果：

Note：

默认情况下, hdfs dfs- put 命令将使用 hdfs 文件系统 [/用户/当前用户名] 的目录作为当前目录 。因此,如果使用相对路径来提前建立文件夹[/用户/当前用户名],如果使用相对路径,则不确定路径。

3.执行单词统计

执行效果：

4.查看统计结果：

输出结果：

Note：

如果导出目录存在于当前目录下方, 则在继续前必须将其删除 。

测试完成后, 删除目录和结果 :

[root@hadoop01 ~]# hdfs dfs -rm -r /user[root@hadoop01 ~]# rm -rf output/

五,你可以用脚本的截取数据来截取 hdfs。

第3步:配置 YARN 安装配置

以前在哈多普安装核查期间进行的制图任务以当地作业为基础。没有YARN参与，通常情况下，我们必须使用YARN来进行地图绘制。在目前阶段,恢复管理和节能管理流程需要额外的设置。

YARN安装在以下伪分布模式下:

第1步:建立YARN

(1) 编辑Mapred-site.xml 文件。

复制Mapred- site. xml 文件 。

二.六,输入以下内容:

应当指出,只添加了财产标签:

完成的文档看起来是这样的 :

2) 编辑Yarn-site.xml文件。

这篇文章是埃及2011年抗议活动的一部分,

添加如下内容：

财产标签、最后文件和以下内容的内容也是如此:

第二步 发射YARN

以下命令用于启动资源管理器和节点管理程序 :

启动完成：

值得指出的是,启动日志位于/opt/hadoop安装目录/日志之下。

步骤3:YARN验证

(1) 见使用jps的启动程序:

将存在ResumptionManger和NodeManger流程。

2) 进入资源管理员的网络界面:

http://192.168.56.210:8088

网页显示如下：

此时,一个完整的 Hadoop 伪分布模式已经部署, 您可以再次运行 Word Count 应用程序, 这次以 YARN 为地图缩放操作时间表 。

如果必须关闭 Hadoop 集群, 以下脚本将会运行 :

2 安装总结

假分发方法必须解密。

java工艺用于模拟伪分配模型中的组件。

hdfs 系统将使用伪分发模式。

优度分布模式允许 YRAN 运行 MapRduce 活动, 如 MapRduce 任务, 无需定义本地模式的默认使用 。

NameNode的网络接口端口为50070。

资源管理员的网络接口港口为8088。

3 附录

1）Apache Hadop 2. Ten. 以单一点模式建立单一节点结节。

(2) Hadop2.x 通用网络港口:

Note：

要使用 MapRedduce JobHistory 服务器,请使用以下命令启动服务:

mr-jobhistory-daemon.sh start historyserver

然后访问：

http://192.168.56.210:19888

默认情况下, 我不知道我在说什么。 sh 脚本, 即使从头开始, 也没有一个 sh 脚本会启动服务 。

以下是用于检查启动的 jps 命令 :

(3) Hadop2.x 共享端口

Hadoop、Hive和Hbase的普通港口都是_zp1783494071博客-CSDN Blog_hbase Port

(3) 各种Hadoop版本的下载链接:

Index of /dist/hadoop/common

完全分布的Hadop2.8安装

1 安装概述

安装程序是在假分发装置的基础上进行的,如果没有完成假分发装置,则伪分发装置安装程序必须在假分发装置的基础上相应调整,如果没有完成假分发装置,则伪分发装置程序必须相应调整。

2 节点规划

IP 主机名 功能

192.168.56.210	hadoop01	NameNode/ResourceManager
192.168.56.220	hadoop02	DataNode/NodeManager
192.168.56.230	hadoop03	DataNode/NodeManager

Note:

该战略旨在保护虚拟资源。但是，在现实世界的制造业环境中,节点和资源管理者,他们都是主节点，他们往往被安置在独立机器的集群内。其他服务，例如,基于载荷的WebApp 代理服务器,MapRedduce Job History服务器是一个非常重要的信息来源。通过选择使用专有硬件,相反,它可以与其他硬件共享。作为节点,使用其他机器。本文是「数据节点」及「节点管理者」(与节点管理者同为数据节点)特别报导的一部分。

3 节点准备

第1步:设置虚拟机器

1）准备3台虚拟机

3台虚拟计算机已经固定了IP地址,如果Hadoop已经以假分发的方式实施,则需要另外建造两台虚拟机器,两台虚拟机器将固定IP地址。

2）修改主机名

运行第一台机器( ) 上的以下命令 。

修改成如下图：

(3) 3) 更改主机文件

在第一台机器上,运行以下命令:

使用 dd 删除旧文本, 替换为以下文字 :

编辑后的内容如下：

4）关闭防火墙

应关闭每个节点的防火墙,并运行下列指示:

Note:

如果所有节点上的防火墙不关闭,或者如果节点被忽略关闭,将出现下列情况:

无法进入连接Hadoop的1个网络界面

2 在使用 Hdfs 复制文件时,例如, hdfs-put 表示禁止节点,原因是名称节点和数据节点之间防火墙无法相互连接。

修改其他节点

执行对二至三台虚拟机器的 1-4 步骤, 完成节点的主机名, 修改主机文件, 并关闭防火墙活动 。

5）重启使配置生效

重新启动完成后, 请登录到系统, 看看是否更改了 shell 提醒 中的主机名 :

步骤2:解密SSH配置

为了防止在节点之间的服务器输入密码,必须建立三个服务器来互相信任,即SSH的解密登录。

(1) Hadoop01 节点执行ssh-keygen -t rsa持续回流车辆的产生/ 根/. 我不确定, ssh/id_rsa. Pub:

Note：

临时阶段不需要输入, 总是可以返回汽车, 如果您以前生产过密钥, 请选择 y 覆盖 。

生成的公钥和私钥：

id_rsa 是私人密钥, 而 id_rsa_pub 是公用密钥 。

关键创建程序也通过 ssh 着陆完成,降落到 hadoop02 和 hadoop03, 两个关键文件在操作完成后被验证为存在。

2) 节点公共按键生成赠款列表文件(授权_keys)

执行关于Hadop01 03的下列指示,按此顺序排列:

猫头鹰命令输出到一个临时笔记本的复制件,并收集了以下三个公用钥匙:

ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDi/HaA9aXUgYcqD/N4oVSlp+Wmex44b/k4V23PXOU6wbnptq6FXvoz86Bp3+wQ3aafxpCYP2NZ2IxeyDNK2DyDFvpXYeSteRydazB2+ICHAmMwXzv5a2MFEAiEqOTuUJ4gbOd3st9M53VVE0Ukz9I+4JCYalFsxxxzfWAUGYLbMqiHjPulY2Iy7ib3JvpkEv/5DpPtcnxgaiAty2LDdMe7lcd8aAfCaMpVDUxB/YCptQBKCJtEmTJfBPVIVjnO4T9bUmzC96GjQBqolPI9TAT/a5bQ8fjlZ57UDlHWbuiOFeJ8ZWpNkn564z8dyfFWduSyy8IkDe3D14MOQB4j5Zlp root@hadoop01ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDRVkwoSx6bo+O2Isotcs5boZ6AfKMsU48pqD5I7rqPGX7UAWPMz0ovzM1YKZiwdwUyMyx+XqFtjNPzM6s9b8bQCxr9FtwFoozviCWu2wIDx4TIMhxTMRrKMGkmku7ONj2W6R2QfvGZVDHgNIE7NeSkHt8tvY7z51pf6XyKt3+LHZjiStvee1KX4fbh8jTH9pZrY0KYWMlizFgkMj5BvFM/8wD5XBusJLxb0BiEdKFeXhF+isTEzO9uuLdHMzfsQgPgptPGdlrFxNF3kx61DJT6m1WnEcvz44JaaqJfxv49c3vaPSQItGcWz2S2SAZVf1YJe5laAUAZadfyoehWgXob root@hadoop02ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDBax05OyEh/Q/eh986jna4kveHSQuqE6J4O4kwYt93ywF2/nR1r4tc9/PTNzg3nyV8E8GuYduAycG6GK/q0ZBAOFL/Te+2jF8uUK4k0FMw6TyRf1ldlQdoDz6R4Nq/bUMkgUNiTGthvCeglbHi4ctrXMQM6u5TbgfmfMbQGQCZaWULR7ufyJ68VPL+VBqAjtBkDZlnLS6l5lWAFGxuNlEv+ZzHaGqHoMZiTmpeFrYbZNHITl0FwsBBaXMHq61yEBFMRlZP3MdeJuzWhho2XR6XAMY1eiWJXP2qSYd66D/gEwDfNCvmB0wSkOYyNRpI6URBt91N2zKdmYPhbIAonwvl root@hadoop03

上述文档包括三台计算机的公用钥匙内容。 这些部件必须插入每台机器的授权键文件( 默认和同一文件夹中的密钥配对如果不存在, 则必须自行设定) 。

然后在 Hadoop01 节点上执行以下命令来生成列表文件 :

复制并粘贴先前收集的内容到vi 编辑器中, 然后保存退出 :

Note：

检查三台计算机的公用钥匙,以确定授权钥匙是否包括任何可直接删除的钥匙。

3) 将授权的密钥指派给其他节点

为远程复制Hadoop02和Hadoop03节点的授权键文件,在Hadoop01执行以下命令:

Note：

上述命令分两部分运行,中间阶段要求用户输入是和 ssh 访问密码。

4）验证免密设置

在每个节点上执行 ssh 命令, 以检查节点之间不需要密码, 并检查可能需要初始访问其它主机, 其结果与下面显示的结果相似 :

在此地出现后续问题:

检查密钥文件是否有问题, 如果没有问题, 请检查密钥文件是否有问题, 或者在 / etc/ 主机下的 ip 地址和主机名, 我的密钥文件不存在问题, 然后更改主机文件如下 :

命令传真至Hadoop02和Hadoop03节点

[root@hadoop01 ~]#  scp /etc/hosts root@hadoop02:/etc/hosts[root@hadoop01 ~]#  scp /etc/hosts root@hadoop03:/etc/hosts

第3步:应当为肯尼迪做好准备。

如果Hadoop01上的伪分发装置已完成,它已经安装了jdk。剩下的全部是将jdk和环境变量分配给该组中的其他节点。如果您没有完成在Hadoop01上安装假分发的安装,这就需要安装安装指南中jdk安装部分的假分布。安装及配置jdk。

本指南假定您在 Hadoop01 上安装了假分发装置, 以下程序仅用于jdk 机器配置 :

1）分发jdk

在 Hadoopnode 1 执行以下命令 :

Note：

Scp-r 选项指定了备份副本, 在复制程序期间不应提供密码 。

(2) 环境变量配置分布

在Hadoop01执行下列命令:

副本完成后, 源代码命令不运行, 配置在下次 ssh 着陆时生效 。

3) 确定jdk是否无障碍。

在哈多博02和哈多博03节点降落以验证爪哇版本:

已安装了4个Hadop集束器。

第1步:在一个单一节点上安装 Hadop 设置 。

(1) 设置在 Hadoop01 上

此文章假设您已经完成了在 Hadoop01 上的伪分布装置, 如果没有, 您需要将 Hadoop 安装软件包上传到 hadoop01 节点, 并将其推到 /opt 目录, 参考伪分布安装文件是在那里完成的 。

2) 建立哈多普JDK。

如果您已完成伪分布安装, 您可以跳过此步; 否则, 您必须更新 Hadoop- env. Sh 文件, 以适当配置 jdk 安装位置 。

这是埃及抗争活动的一部分。

如果错误的分发安装已完成, 配置文件必须更新, 配置中的实际名节主机名将由本地主机替换 :

配置如下：

最后文件的内容如下:

Note:

您需要做的就是将本地主机选项更新为其他 dhalop01 值之一 。

(4) 修改 hdfs- site. xml 文件 。

照片来自Flickr用户@dfs-site.com.

修改后内容如下：

修改结果：

(5) 打开 Yarn- site. xml 编辑文件 。

添加资源管理器的主机名, 其全部内容应像这样显示 :

修改后的结果：

(6) 修改地图站文件

和假分发一样, 地图站文件不需要更新。 如果它没有安装在假分发中, 则必须复制文件, 并添加以下设置 :

7. 更改奴隶的档案

与伪分配装置相反,当地宿主必须从奴隶中删去,并加上数据节点节点。

要修改奴隶文件, 请使用 vi :

删除当前本地主机, 代之以以下内容:

修改后的结果：

8) 配置 Hadoop 环境变量

要设置 Hadoop 环境变量, 请编辑 / etc/ profile 文件。 如果伪分布安装已完成, 文档不需要更新。 如果安装未完成, 请在页面末尾添加 Hadoop 环境变量, 并使用源使环境变量有效 :

最后,在/etc/profession中:

第2步:散散分布

1) 移除假发件已安装的 hdfs 。

hdfs 系统包含因使用伪分布模式而以伪分布方式进行安装的剩余部分。在部署 Hadoop 之前, Tmp 文件夹必须清除, 命名节点必须执行以下命令 :

如果这是全新的, 你可以跳过这一步。

(2) Hadoop01的Hadoop装置分布在节点之间。

在Hadoop01执行下列命令:

(3) /eec/概况文件的节点分发

如果在伪分配步骤期间将Hadoop环境变量添加到/etc/profile文件中,则该变量是在先前的jdk安装期间交付到这里的,在此可以忽略。

以下格式化和验证程序与伪分发程序基本相同。

第三步:格式名称节点

运行以下格式化的名称节点节点命令 :

以下信息显示格式化成功:

Note

如果安装了假分发, hdfs 系统已经存在。

在 hdfs 格式正确后, 文件系统将在配置文件设置: /opt/hadoop 中创建目录/ tmp 。

第四步:核实哈多普的身份。

1）启动HDFS

要启动和运行 hdfs, 请使用以下命令 :

运行结果：

Note：

初始连接到另一个服务器将要求输入是, 但密码不应提交, 因为密码将被解密 。

有一个名称节点, 两个数据节点, 一个次要名称节点 。

如果启动失败, 请检查默认日志位置的日志文件夹: /opt/hadoop 安装目录/ logs 。

当在名称节点节点上执行 jps 命令时,将观察到以下过程:

在数据节点节点上执行时,以下过程在jps中显示:

Note

如果数据节点进程不存在,则必须检查数据节点节点上的启动日志,而数据节点上的大多数数据区块没有在命名节点上注册,问题可以通过以下方式解决:

在数据节点节点,删除 hdfs 系统。这通常在数据节点当前的数据节点/opt/hadoop目录/tmp/dfs中进行。rm-rf dfs 可用于删除对 tmp 目录的直接访问 。删除所有未成功的数据节点系统 。

退出 hdfs: 命名节停止 dfs

在命名节点上重新启动 dfs

如果从伪分发系统安装,则特别注意在分发前必须清除伪分发系统的tmp文件和 hdfs。

2） 启动yarn

在 Hadoopnode1, 执行以下命令 :

启动完成：

在这一点上,日志将安装在/opt/hadop的目录/log之下,任何错误将通过检查日志来检测。

Hadoop01 上的运行将寻找资源管理程序, 而 Hadoop02 和 Hadoop03 上的运行将寻找节点管理程序 :

3）访问web界面

命名节点的一. Web 界面 :

2 Yarn 网络界面( 资源管理者) :

Note

如果在浏览器中无法查看适当的页面,则需要确认防火墙已经关闭,并安装一个部分,用于关闭防火墙,以参考伪分发。

4) 减少映射校验

本节与伪分发装置中的地图缩放认证完全相同,并在此简述。

无法为 %s 建立文件夹锁定:%s 。

在Hadoop01执行下列命令:

hdfs- 上加载统计文件

Note:

如果在这里放不成功,报告将看起来是这样:

基本上,两个数据节点节点在运行中,但在传输文件时被省略,这很可能是因为节点之间的数据节点节点无法与命名节点连接,所以您必须确认:

1 是否关闭所有节点的防火墙

核心站点上的 2 个数据节点节点。 无法关闭临时文件夹:%s

1.执行单词统计

2.查看结果

Note:

如果输出文件夹在当前本地目录中存在, 请删除它 。

关闭集群

Note:

以下脚本可用于开始和停止分组,但不再推荐:

5 附录

5.1 其他参考

完整分布的集群配置:

Apache Hadoop 2.10.1 – Hadoop Cluster Setup

5.2 FAQ

问题1:数据节点无法登记数据块。通常会发现以下错误:

2021-11-08 09:34:53,595 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool ID needed, but service not yet registered with NN, trace: java.lang.Exception

A:数据节点上的大多数数据区块没有在名称节上登记,名称节点上可能由下列因素确定:

在数据节点节点,删除 hdfs 系统。这通常在数据节点当前的数据节点/opt/hadoop目录/tmp/dfs中进行。rm-rf dfs 可用于删除对 tmp 目录的直接访问 。删除所有未成功的数据节点系统 。

退出 hdfs: 命名节停止 dfs

在命名节点上重新启动 dfs

如果这不工作, 重新格式化命名节点

问题2: 在进行 hdfs- put 操作时上传像 hdfs 这样的文件不可行, 这意味着数据节点节点将被省略 。

WARN hdfs.DataStreamer: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/root/input/mapred-env.cmd.COPYINGcould only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) running and 2 node(s) are excluded in this operation.

A：基本上,两个数据节点节点在运行中,但在传输文件时被省略,这很可能是因为节点之间的数据节点节点无法与命名节点连接,所以您必须确认:

(1) 是否关闭所有节点的防火墙。

防火墙关闭命令可在所有节点上使用 :

2) 数据节点节点核心站点。无法关闭临时文件夹:%s

XTw.com.Cn系统网专业应用软件下载教程，免费windows10系统,win11,办公软件,OA办公系统,OA软件,办公自动化软件,开源系统,移动办公软件等信息，解决一体化的办公方案。