本内容由系统网小编为大家分享，Windows系统安装教程、办公系统、软件怎么使用、软件使用教程、办公软件攻略等信息。

这项工作采用的技术是在单独的视窗环境中创造烟火,如果需要将 hdfs 连接到虚拟机器,程序如下:

I. 窗口的环境配置

1、java的安装

以下是一个建议:使用下版的爪哇, 如果对上版有问题, 在我的早期文章中, Java 和 Hadoop 的安装程序有问题, 你可以读到。hadoop安装

2. 哈多布的安装

hadoop安装 链接同上

3. Scala安装

Scala的拉链包首先下载 并保留官方网站 推荐的2.Verion 11, 因为之后我们使用的火花版本是 2. Four. 3。

都是为了解除压缩包的压缩

为了能够进行后续跟踪,建议所有不压力文件都存储在同一目录中。

配置环境变量, SCALA_ HOME, 降压后路径 。

4. 火烧装置

当然,如果你鄙视看到很多红日志数据

您可以在公园的子目录中再次编辑 log4j 文件 。

插入对数 4j. rootCategory 并设置 Error 选项 。

大多数日志信息将被隐藏 。

在你不再承受压力之后 也是组合环境变数

最终,试验被认为是成功的。

java -version

hadoop version

spark-shell

这就是生态系统是如何建立的。

二. 烟火的进口

先装好Pyspark

第一步是下载矿坑,然后用pip安装。* 确保在使用 SPARK_HOME 环境变量之前先设置该变量*

有两种方法 开始与皮斯帕克。

方法一：命令行启动

与 Sark 连接并输入命令行中的以下指令, 以便您在 jupyter 中直接更改环境变量 。

此方法可以输入到命令行, 并且 sc 对象已经构建, 所以不需要再导入 。

FHPSPARK用于方法二。

输入一条无意义的消息:“ Pip 安装查找点” 是第一个命令 。

因此,在开始创建代码之前, 请在下面输入两个语句 。

*实例代码*

*常见报错解决*

第一,如果无法找到公园。 Init () 被错误地报告 。

然后,在大多数情况下,没有SPARK_HOME环境设置;记得正确的设置。2、Py4JError:org.apache.spark.api.python.PythonUtils.isEncryptionEnabled does not exist in the JVM

我早就有这个问题了如果jdk、火花和Hadop配置得当(正确的设置假设从指挥线可以发射 sark-shell ), 那么 sark-shell 就可以启动 。因此,问题在于Python版本。我的答案是把俾斯公园恢复到2.3.2版本一次输入以下命令 。

pip uninstall pyspark

pip install pyspark==2.3.2

3、pyspark.sql.utils.IllegalArgumentException: 'Unsupported class file major version 565760

JDK版本的原因

你可以先看相对论版本。

修改系统的 Java 版本( 最小版本), 并记住环境变量以更新设置 。

所以我们才在这里,八点零13分,没有问题。确保环境变量更新。确认你准确无误。

ok,可以了

XTw.com.Cn系统网专业应用软件下载教程，免费windows10系统,win11,办公软件,OA办公系统,OA软件,办公自动化软件,开源系统,移动办公软件等信息，解决一体化的办公方案。