apache spark,一个开源的分布式计算系统,已经彻底改变了大数据处理和分析的世界。它提供闪电般的数据处理功能,使其成为数据工程师和数据科学家的首选。
在 fedora 38 上安装 apache spark
第 1 步。在 fedora 38 上安装 apache spark 之前,重要的是要确保我们的系统是最新的软件包。这将确保我们可以访问最新的功能和错误修复,并且我们可以毫无问题地安装 apache spark:
sudo dnf update
第 2 步。安装爪哇。
apache spark依靠java开发工具包(jdk)来实现其功能。要安装 openjdk 11,请执行以下命令:
sudo dnf install java-11-openjdk
现在,通过检查 java 版本来验证安装:
java -version
第 3 步。在 fedora 38 上安装 apache spark。
访问 apache spark 官方网站并选择最适合您要求的 spark 版本。对于大多数用户来说,hadoop的预构建版本是合适的:
wget https://www.apache.org/dyn/closer.lua/spark/spark-3.5.0/spark-3.5.0-bin-hadoop3.tgz
after downloading spark, extract the archive using the following command:
tar -xvf spark-3.5.0-bin-hadoop3.tgz
接下来,将解压缩的目录移动到该目录:/opt
mv spark-3.5.0-bin-hadoop3 /opt/spark
然后,添加一个用户来运行 spark,然后设置 spark 目录的所有权:
useradd spark chown -r spark:spark /opt/spark
第 4 步。创建系统服务。
现在我们创建一个服务文件来管理 spark master 服务:systemd
nano /etc/systemd/system/spark-master.service
添加以下文件:
[unit] description=apache spark master after=network.target [service] type=forking user=spark group=spark execstart=/opt/spark/sbin/start-master.sh execstop=/opt/spark/sbin/stop-master.sh [install] wantedby=multi-user.target
保存并关闭文件,然后为 spark 从属服务器创建一个服务文件:
nano /etc/systemd/system/spark-slave.service
添加以下配置。
[unit] description=apache spark slave after=network.target [service] type=forking user=spark group=spark execstart=/opt/spark/sbin/start-slave.sh spark://your-ip-server:7077 execstop=/opt/spark/sbin/stop-slave.sh [install] wantedby=multi-user.target
保存并关闭文件,然后重新加载守护程序。systemd
sudo systemctl daemon-reload sudo systemctl start spark-master sudo systemctl enable spark-master
第5步。配置防火墙。
首先,您需要确定apache spark用于其各种组件的端口。通常,您应该打开的基本端口是:
- spark master web ui:端口 8080(或已配置的端口)
- spark 主端口:7077(或已配置的端口)
- spark 工作线程端口:指定范围内的随机端口(默认值为 1024-65535)
若要打开 spark master 和 web ui 端口(例如 8080 和 7077),可以使用以下命令:firewall-cmd
sudo firewall-cmd --zone=public --add-port=8080/tcp --permanent sudo firewall-cmd --zone=public --add-port=7077/tcp --permanent
after adding the necessary rules, you should reload the firewall for the changes to take effect:
sudo firewall-cmd --reload
第 6 步。访问 apache spark web 界面。
若要验证 spark 是否已正确安装以及群集是否正在运行,现在请打开 web 浏览器并通过输入以下 url 访问 spark web ui:
http://your-ip-address:8080
应在以下屏幕上看到 spark 仪表板:
感谢您使用本教程在 fedora 38 系统上安装 apache spark。有关其他帮助或有用信息,我们建议您查看 。
未经允许不得转载:ag凯发k8国际 » 如何在fedora 38上安装apache spark