开源竞争-大数据项目期末考核

开源竞争：

自己没有办法完全掌握技术的时候就开源这个技术，培养出更多的技术依赖，让更多人完善你的技术，那么这不就是在砸罐子吗？一个行业里面总会有人砸罐子的，你不如先砸还能听个想。

客观现实：

{一年当中想学习的时间少，不想学习的时间多，想认真记录的时刻少，不想认真记录的时刻多。不想认真记录的时间多，认真记录的时间少。客观现实就是，专科里面学习氛围不是很好，自己带不动}

查看期末大数据项目的要求：

请同学们完成一主两从分布式集群搭建、

并开启hadoop、zookeeper、hbase等组件（使用预先完成的镜像包可以实现，但是前提的条件：预先处理好各个虚拟机的之间的网卡！查看自己相关的书籍（专业书籍名称：Hadoop大数据开发基础/大数据技术原理与应用/大数据导论）。）

在这里，采用直接已经安装成功的虚拟机配置：

注意：

（如果当你的虚拟机出现复制的时候，第三台从机出现问题，在VMware中可以进行选择对于虚拟机进行复制）

我们不需要双胞胎，我们需要一主两从的结构

改动点：

主机名
ip地址

从0开始1的开始弄：

首先当然是最为关键的vmware了！

虚拟机搭建教程_网络虚拟机怎么搭建-CSDN博客

CentOS7最小化详细安装与CentOS7下载网址_centos7 下载-CSDN博客

易错的点：

（选择上面Install CentOS 7安装，而不是中间的那个）

Vmware软件的序列号：（自己到网上去搜，搜索”VMware“序列号，注意版本号，借用余华老师的一句话：”我从来不打击盗版书，因为穷人买不起正版“。）

虚拟环境下载

在这里还要再添加两个软件：

xftp（文件传输软件用的）
xshell（用来输入文本命令的）

开始搭建之前，目前网上有两篇文章：

Hadoop的集群搭建windows基于VMware虚拟机超详细教程（一主二从）_master login-CSDN博客

第一个步骤（搭建虚拟机）：

官网有下载，学生注册免费（备注：目前来说，人工智能还没有攻破大数据技术，1024程序员节上，阿里云副总裁说：“人工智能和大数据技术不是一个对立关系，而是一个相辅相成的关系，人工智能取代不了大数据独特的搜索引擎，“，在这里，我发出感叹了！大数据独特的搜索引擎是为了提供个性化服务的关键（所以一定要运用好这个独特的搜索引擎），至于人工智能（降低信息复杂度，提供答案，目前来说，人工智能计算机的推理能力还不足，计算力还不赶不上大数据）。）

开始遇到的第一个错误：

这张图片显示的是Linux系统进入紧急模式（emergency mode）的界面。

（以下的内容来源于：kimi智能编辑助手，速度嘎嘎快！就用ai）

核心内容如下：

1. 进入紧急模式：

系统提示用户已经进入紧急模式，这通常发生在系统启动过程中遇到问题时。

2. 查看系统日志：

用户可以通过输入`journalctl -xb`命令来查看系统日志，以诊断启动过程中出现的问题。

3. 重启或恢复默认设置：

用户可以通过输入`systemctl reboot`来重启系统，或者通过`systemctl default`或按`^D`来尝试重新启动到默认模式。

4. 维护模式：

系统要求用户输入root密码以进入维护模式，但用户多次输入的密码都不正确。

5. SMBus Host Controller未启用：

日志中显示了一个警告，指出SMBus Host Controller未启用。SMBus是一种用于系统管理的总线，通常用于监控硬件状态。

6. 登录尝试失败：

用户多次尝试输入root密码，但都显示“Login incorrect”（登录不正确）。

这个界面通常出现在系统启动失败，需要管理员介入进行故障排除和修复的情况下。管理员需要知道正确的root密码才能继续操作。如果忘记了密码，可能需要通过其他方式重置密码，例如使用单用户模式或从Live CD/USB启动并挂载文件系统。

第二个步骤：配置java环境：

真不想开源，但是没有办法，开源开源开着玩。

基础环境-linux-安装jdk-解决bash: java: command not found..._-bash: java: command not found-CSDN博客

（如果有教材（Hadoop大数据开发基础）的同学可以直接按照课本上弄，课本上的没有问题，但是要注意虚拟环境，另一个关键：要开源，不开源什么事情都做不了！你不开源，我也不开源，他就要开源，他一开源，他挣钱了，你内心又过不去。）

这本书在拼多多上面二手书：6-10元左右（11点56分2024年11月5日），这本书，我反复看了很多遍，书中的坑，我都一一标识了，一并放在文件资源里面

（包含软件和镜像光盘，其实这些都是偷的操作系统老师的，如果感觉不错，就给这篇文章点点赞吧！同时关注一下：湖工职吧！当然更为关键是：关注我，关注我是可以带来实际的思考）

像个博士一样，感谢感谢！

如果有时间尽可能购买吧！也是在此感谢一下自己在湖北工业职业技术学院的计算机老师吧，就不一一感谢了，计算机老师都很称职，如果你也是一个技术控的，我推荐到湖北工业的智能学院，因为老师上课管理方式一个包容的状态，可能基础硬件设施不好，但是，如果湖北工业职业技术学院的智能工程的老师能够一直保持这种开放和包容的话，我觉得，在大数据时代，专科院校培养出技术型人才会更多。

高中太压抑了，导致我自己状态不好，满腔戾气，吐苦水吐了400多个视频，才让我现在舒服点，但是高中老师也不错。

请同学们把配置集群，开启集群的步骤，总结为word文档，写出步骤和命令，截图说明。

其实有的时候，学习计算机最大的问题：

没有记数和反馈

开源竞争（当你无法彻底掌握一个技术的时候就开源这个技术，培养出相关的技术依赖，让更多人帮助你完善你的技术，那么这不是砸罐子吗？一个行业里面总会有人砸罐子的，你不如先砸还能听个响声。）

至于我为什么会开源？因为这句话，是我在江汉大学（开放和包容的风气）在1024这个节点（江汉站，因为这个大学，确实给我提供了实质性帮助，所以，我觉得后面每次写文章的时候，都会给大家介绍一下这个学校的。）

是学长的介绍，stable profession的商业化项目落地的时候的介绍，开源竞争（因为他自己就在砸自己的罐子，计算机行业的发展速度快的原因也在于此：开源，正如经济全球化一样，越早开源对于自己越有利，你越能积攒出属于自己的数据。）

以10min为一个契机对其进行计数（每隔10min对其进行一次计数，微信小程序搜索躺平成长，里面有相关的数据统计，目前数据统计机制还不完善，但是最终会完善的。）

如何更好使用boss直聘：

市场可以帮助你解决，你自己最好的信息差，因为所有的信息差都可以通过市场消除，普通人没有办法预测未来时代的变化，就结合ai去看市场。

大学期间（专科计算机期间）：

我可以用ai干点什么？

躺平成长-代码开发（08）-第八天-CSDN博客

当然是开发一个宇宙无敌超级厉害的小程序了，便宜的价格。

大学期间（专科期间，我要合群吗？）

不需要，生产构建生产关系，先培养自己的生产能力，随着你自己不断地培养自己的生产能力，良好的生产能力会给你带来良好的生产关系的。单纯卷大数据，要是ai能够帮助我们搭建hadoop就好了（真的有）！

不过也没有关系了，让我们照顾好自己的身体，多养生，照顾好身体，照顾好身体一切都有可能。还有就是使用一下学长的躺平成长。

是的，现在有AI可以帮助我们搭建Hadoop。根据搜索结果，有几个工具和平台可以辅助在Hadoop上部署和管理AI工作负载：

Hadoop Submarine：这是一个统一的AI平台，允许工程师和数据科学家在分布式集群中运行机器学习和深度学习工作负载。Hadoop Submarine可以在资源管理平台（如YARN）上运行深度学习应用程序（如Tensorflow，Pytorch等），并支持多种机器学习框架，涵盖了整个机器学习过程，包括算法开发、模型批量训练、模型增量训练、模型在线服务和模型管理。
TonY (TensorFlow on YARN)：LinkedIn开源的一个框架，旨在让深度学习框架能够原生地运行在Apache Hadoop上。TonY支持多种主流深度学习框架，包括TensorFlow、PyTorch、MXNet和Horovod。它允许深度学习作业作为Hadoop应用程序直接运行，无需额外的资源管理层，提供了灵活性和可靠性。

这些工具和平台的出现，使得在Hadoop上部署和管理AI工作负载变得更加简单和高效。它们充分利用了Hadoop的分布式计算优势，为AI训练提供了强大的数据处理能力，并简化了部署和管理流程。

Hadoop Submarine 是一个旨在简化在 Hadoop 上运行分布式深度学习应用的项目。以下是关于 Hadoop Submarine 的一些关键功能和特点：