基于容器和集群技术的数据自动化采集设计和实现

目标：部署mysql服务容器并使用docker构建包含python爬虫脚本的容器采集数据到mysql数据库。

环境：Centos7、已配置Kubernetes集群及docker。

环境配置请参考以下文章：
CentOS7搭建Kubernetes集群

Kubernetes集群信息如下(虚拟机主机名和IP地址)：

主机名IP地址
master192.168.138.110
slave1192.168.138.111
slave2192.168.138.112

1. 安装MySQL数据库

1.1 创建 namespace

创建namespace，用于部署mysql，使其与其他应用程序隔离

kubectl create namespace dev

1.2 创建持久卷 PV

1)创建PV（持久数据卷），用于存储mysql数据文件

mdir -p /nfs/data/01

2）编写msql-pv.yaml文件，内容如下：

apiVersion: v1
kind: PersistentVolume
metadata:name: pv-1gi
spec:capacity:storage: 1GiaccessModes:- ReadWriteManystorageClassName: nfsnfs:path: /nfs/data/01server: 192.168.138.110

3）创建PV对象

kubectl create -f mysql-pv.yaml

4）查看创建结果

kubectl get pv
kubectl describe pv pv-1gi

在这里插入图片描述

1.3 创建持久卷声明 PVC

1）编写mysql-pvc.yaml文件，文件内容如下：

apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: mysql-pvcnamespace: dev
spec:accessModes:- ReadWriteManyresources:requests:storage: 1GistorageClassName: nfs

2）创建此PVC对象

kubectl create -f mysql-pvc.yaml

3）查看创建结果

kubectl get pvc -n dev

在这里插入图片描述

可以看到，mysql-pvc对象已经和pv-1gi对象绑定。

1.4 创建Secret对象以保存mysql的root用户密码

1）执行创建命令，并将密码设置为 123456

kubectl create secret generic mysql-root-password --from-literal=password=123456 -n dev

2）查看创建结果

kubectl get secret -n dev
kubectl get secret mysql-root-password -n dev -o yaml

在这里插入图片描述

1.5 创建Service

1）编辑mysql-svc.yaml文件，内容如下：

apiVersion: apps/v1
kind: Deployment
metadata:labels:app: mysqlname: mysqlnamespace: devspec:containers:- image: mysql:8.0name: mysqlenv:- name: MYSQL_ROOT_PASSWORDvalueFrom:secretKeyRef:name: mysql-root-passwordkey: passwordports:- containerPort: 3306
---
apiVersion: v1
kind: Service
metadata:labels:app: svc-mysqlname: svc-mysqlnamespace: dev
spec:selector:app: mysqltype: NodePortports:- port: 3306protocol: TCPtargetPort: 3306nodePort: 31233

2）创建mysql-svc

kubectl create -f mysql-svc.yqml

3）查看创建结果

kubectl get pod, svc -n dev

在这里插入图片描述

2. 设置mysql数据库远程连接

2.1 进入容器设置远程连接

1）进入容器

kubectl exec -it mysql /bin/bash -n dev

2）登录mysql

mysql -u root -p123456

在这里插入图片描述

3）配置root用户可远程连接

mysql> ALTER USER root@localhost IDENTIFIED WITH mysql_native_password BY '123456';
Query OK, 0 rows affected (0.01 sec)mysql> ALTER USER root@'%' IDENTIFIED WITH mysql_native_password BY '123456';
Query OK, 0 rows affected (0.01 sec)

4）创建mydb库并授权给root用户

mysql> create database mydb;mysql> grant all privileges on mydb.* to 'root'@'%';
flush privileges;

5）使用可视化软件进行远程连接

查看mysql部署在集群的哪个节点上

kubectl get service -n dev -o wide

在这里插入图片描述

在navicat新键连接，使用slave2的IP地址和映射端口即192.168.138.112:31233

在这里插入图片描述

测试连接

在这里插入图片描述

注：若是连接失败，使用命令kubectl get pods -n kube-system获取pod名称查看coredns的状态，若为CrashLoopBackOff（这是因为每次挂机再启动之后，/etc/resolv.conf主机下的nameserver都被修改为8.8.8.8和114.114.114.114），则需要进行如下修改：

将nameserver 修改为master主机的ip（三台主机都修改）

vim /etc/resolv.conf

在这里插入图片描述

在这里插入图片描述

修改成功后，再删除异常coredns的两个pod即可，通过 kubectl get pods -n kube-system获取pod名称。

删除成功之后k8s会自动创建两个coredns。

再通过 kubectl get pods -n kube-system查看coredns的状态，状态是running的时候，java-web和k8s配置的数据库就可以访问了。

在这里插入图片描述

2.2 建表

1）在数据库mydb中建product_info表

# 切换数据库
use mydb	
# 建product_info表
CREATE TABLE product_info(	
product_name varchar (1000)
, supplier varchar (1000)
, supplier_web varchar (1000)
, product_desc varchar (1000)
,product_img varchar (1000)
, product_price varchar (1000)
, addr varchar (1000)
, mailing_ins varchar (1000));

在这里插入图片描述

2）查看表

show tables;

在这里插入图片描述

3. 采集数据存入数据库

3.1 创建定时任务Dockerfile及脚本

1）创建爬虫脚本

vim mysql.sh

#!/usr/bin/env python
# coding: utf-8# In[1]:import urllib.request
from time import sleep
from bs4 import BeautifulSoup as bs
from urllib.parse import urljoin
import pymysql# In[2]:headers = {'User-Agent': 'Mozilla/6.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'
}# In[3]:def get_info(page):url='https://www.cnhnb.com/p/mianfen-0-0-0-0-{}/'.format(page)req = urllib.request.Request(url, headers=headers)html = urllib.request.urlopen(req)soup = bs(html.read(), 'html.parser')lu = soup.find_all('div',class_='show-ctn')product_all=[]for i in lu:product_name=i.find('h2').get_text()#产品名称supplier=i.find("a").get_text()#供应商supplier_web=i.find("a").attrs['href']#供应商网址product_desc=i.find('div',class_='shop-image').img.attrs['alt']#产品介绍product_img=i.find('div',class_='shop-image').img.attrs['src']#产品图片product_price=str(i.find('div',class_='shops-price').get_text()).strip().replace('\n','').replace(' ','')#产品价格addr=str(i.find('div',class_='r-shop-btm').get_text())#发货地mailing_ins=str(i.find('div',class_='cw-tags').get_text()).strip().replace('\n','').replace(' ','')#邮寄说明product=[product_name,supplier,supplier_web,product_desc,product_img,product_price,addr,mailing_ins]product_all.append(product)return product_all# In[12]:def save_mysql(all_data):conn = pymysql.connect(host='192.168.138.112', user='root', port=31233, password='123456', db='mydb', charset='utf8')curson = conn.cursor()# 创建表sql语句#ctablesql = 'CREATE TABLE product_info(product_name varchar (1000), supplier varchar (1000), supplier_web varchar (1000), product_desc varchar (1000),product_img varchar (1000), product_price varchar (1000), addr varchar (1000), mailing_ins varchar (1000))'#curson.execute(ctablesql)# 插入数据SQL语句insertsql = 'insert into product_info(product_name,supplier,supplier_web,product_desc,product_img,product_price,addr,mailing_ins) value (%s,%s,%s,%s,%s,%s,%s,%s)'for data in all_data:data = tuple(data)curson.execute(insertsql, data)conn.commit()# In[13]:if __name__ == '__main__':for i in range(1,89):all_data=get_info(i)save_mysql(all_data)

注：save_mysql函数conn = pymysql.connect(host='192.168.138.112', user='root', port=31233, password='123456', db='mydb', charset='utf8')语句中的host要更改为自己mysql服务容器部署的那个节点。

2）创建执行脚本

vim script.sh

python3 /mysql.py >> /var/log/cron.log 2>&1

如果脚本执行出现异常则将异常信息追加到/var/log/cron.log文件中。

3）创建定时任务脚本

vim Dockerfile

内容如下：

FROM centos:7
RUN curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
RUN curl -o /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo
RUN yum makecache fast;
RUN yum -y update && \yum -y install cronie.x86_64RUN yum install python3-devel python3-pip -y
RUN pip3 install -i https://pypi.douban.com/simple pymysql
RUN pip3 install -i https://pypi.douban.com/simple Beautifulsoup4COPY ./script.sh /script.sh
COPY ./mysql.py /mysql.py
RUN chmod +x /script.sh
RUN chmod +x /mysql.pyCMD crond

此处包含了两层调度，crond命令定时调度script.sh脚本，script.sh脚本又调度了python爬虫脚本。

注：这三个文件要放在同一级目录下，方便后续的镜像构建。

3.2 创建镜像

利用Dockerfile构建镜像

docker build -t docker-crond .

创建完成后如下：

在这里插入图片描述

3.3 执行脚本

1）进入容器内部

创建docker-crond容器并进入容器内部

docker run -it docker-crond /bin/bash

2）配置定时任务

设定时程表

crond

crontab -e

添加内容如下：

*/5 * * * * /script.sh >> /var/log/cron.log 2>&1

在这里插入图片描述

注：2>&1是一个重定向操作符，用于将标准错误（文件描述符2）重定向到标准输出（文件描述符1）。

之后保存退出，脚本就会自动执行。

在这里插入图片描述

crond是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程，与windows下的计划任务类似，当安装完成操作系统后，默认会安装此服务工具，并且会自动启动crond进程，crond进程每分钟会定期检查是否有要执行的任务，如果有要执行的任务，则自动执行该任务。

crontab 是用来让使用者在固定时间或固定间隔执行程序之用，换句话说，也就是类似使用者的时程表。

3.4 查看结果

因为脚本设定是每5分钟执行一次，一共执行两次，所以10分钟后查看。

在这里插入图片描述

可以看到据容器运行已经11分钟，进入到navicat查看表内容

select count(1) from product_info;select * from product_info;

在这里插入图片描述

在这里插入图片描述

4. docker commit构建镜像并推送到镜像仓库

1）查看容器

docker ps

在这里插入图片描述

2）将指定容器构建成为镜像

docker commit dreamy_sammet registry.cn-hangzhou.aliyuncs.com/hadooptian/docker-crond:v1

注：要根据特定格式打标签即registry.cn-hangzhou.aliyuncs.com/用户名/镜像名称:版本号

在这里插入图片描述

3）查看构建完成的镜像

docker images

在这里插入图片描述

4）登录阿里云镜像仓库

docker login --username=hadooptian registry.cn-hangzhou.aliyuncs.com

在这里插入图片描述

5）推送镜像

docker push registry.cn-hangzhou.aliyuncs.com/hadooptian/docker-crond:v1

在这里插入图片描述

6）到阿里云仓库查看

在这里插入图片描述

可以看到，构建的镜像已经被推送到阿里云镜像仓库中了。

至此，基于容器和集群技术的数据自动化采集设计和实现项目完成。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/702883.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Linux安装Mysql设置自启动失败，bugFailed to execute operation: No such file or directory

Linux安装Mysql设置自启动失败，bugFailed to execute operation: No such file or directory

bug: [rootlocalhost mysql-5.7]# systemctl enable mysql.service Failed to execute operation: No such file or directory 出现bug原因： ①CentOS7的服务systemctl脚本存放在：/usr/lib/systemd/，有系统（system）和…
阅读更多...
微服务基础环境搭建

微服务基础环境搭建

一.创建父工程 用于聚合其他微服务模块 1 新建 Maven 项目 JDK8Maven 项目Web 2 项目设置 编码的选择 UTF8JDK 版本的选择 3 删除 src 目录 4 配置父级 pom.xml SpringBoot：模块探究之spring-boot-dependencies-CSDN博客 子模块能够依赖当前父级 pom.xml 配置 【My…
阅读更多...
福特锐界2021plus 汽车保养手册

福特锐界2021plus 汽车保养手册

福特锐界2021plus汽车保养手册两页，零部件保养要求，电子版放这里方便查询：
阅读更多...
QT文件IO

QT文件IO

七、文件IO QFileDialog文件对话框 与QMessageBox一样，QFileDialog也继承了QDialog类，直接使用静态成员函数弹窗，弹窗的结果（选择的文件路径）通过函数返回值返回。 // 获取一个打开或保存的文件路径 // 参数1&#xff…
阅读更多...
java面试（网络）

java面试（网络）

TCP和UDP有什么区别？TCP三次握手不是两次？ TCP：面向连接，可靠的，传输层通信协议。点对点，占用资源多，效率低。 UDP：无连接，不可靠，传输层通信协议。广播&…
阅读更多...
考研408深度分析+全年规划

考研408深度分析+全年规划

408确实很难，他的难分两方面 一方面是408本身的复习难度，我们都知道，408的考察科目有四科，分别是数据结构，计算机组成原理，操作系统和计算机网络。大家回想一下自己在大学本科时候学习这些专业课的难度&am…
阅读更多...
HTTPS对HTTP的加密过程

HTTPS对HTTP的加密过程

1、HTTPS是在HTTP的基础上，引入了一个加密层（SSL），对数据进行保护，HTTP 是明文传输的（不安全，很可能会被运营商通过referer劫持，或者黑客通过修改链接来窃数据） 2、加密…
阅读更多...
JavaSE——面向对象基础（4/4）-成员变量和局部变量的区别、面向对象综合案例（电影信息系统）

JavaSE——面向对象基础（4/4）-成员变量和局部变量的区别、面向对象综合案例（电影信息系统）

目录 补充：成员变量和局部变量的区别 面向对象综合案例 设计一个电影类 IDEA快捷操作 设计一个电影操作类 准备电影数据 业务处理 运行结果 补充：成员变量和局部变量的区别 区别成员变量（对象的属性）局部变量类中位置不同…
阅读更多...
【数据结构】双向链表

【数据结构】双向链表

一、main函数 #include <stdio.h> #include "./3.doublelinklist.h" int main(int argc, const char *argv[]) {doublelinklist* head creatr_doublelinklist();insertHead_doublelinklist(head,999);insertHead_doublelinklist(head,888);insertHead_double…
阅读更多...
家装服务管理：Java技术的创新应用

家装服务管理：Java技术的创新应用

✍✍计算机毕业编程指导师 ⭐⭐个人介绍&#xff1a;自己非常喜欢研究技术问题&#xff01;专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。 ⛽⛽实战项目&#xff1a;有源码或者技术上的问题欢迎在评论区一起讨论交流&#xff01; ⚡⚡ Java、…
阅读更多...
29-资源清单的管理工具-helm

29-资源清单的管理工具-helm

一、helm的介绍 1&#xff0c;helm的价值概述 如下图所示&#xff0c;在一个企业中&#xff0c;可能存在多个不同的应用业务&#xff0c;每个业务可能包含多至十几、甚至几十个资源清单&#xff0c;那么对于“运维”和“研发”人员来讲&#xff0c;这么多的资源清单&#xff0…
阅读更多...
分布式知识整理

分布式知识整理

分布式锁 以商场系统超卖现象举例 超卖现象一 现象&#xff1a; 商品卖出数量超出了库存数量。 产生原因&#xff1a; 扣减库存的动作在程序中进行&#xff0c;在程序中计算剩余库存&#xff0c;在并发场景下&#xff0c;导致库存计算错误。 代码复现 es.shutdown(); cycl…
阅读更多...
Nest.js权限管理系统开发（五）返回格式化

Nest.js权限管理系统开发（五）返回格式化

返回格式化拦截器 在上一篇《Nest.js权限管理系统开发&#xff08;四&#xff09;Swagger API接入》中&#xff0c;我们在base.controller.ts中创建了多个接口&#xff0c;每个接口都有不同的返回类型。现实中我们往往需要统一返回数据的格式&#xff0c;例如&#xff1a; {&…
阅读更多...
conda 导出/导出配置好的虚拟环境

conda 导出/导出配置好的虚拟环境

一. 导出环境配置&#xff08;yml文件&#xff09; 1. 在主目录下激活虚拟环境&#xff08;UE4是我的虚拟环境名称&#xff0c;请根据你自己的名称进行修改&#xff09; conda activate UE4 2. 运行此代码 conda env export > environment.yml 二. 导入环境配置&#xf…
阅读更多...
python统计分析——多解释变量的方差分析

python统计分析——多解释变量的方差分析

参考资料&#xff1a;用python动手学统计学 1、导入库 # 导入库 # 用于数值计算的库 import numpy as np import pandas as pd import scipy as sp from scipy import stats # 用于绘图的库 from matplotlib import pyplot as plt import seaborn as sns sns.set() # 用于估计…
阅读更多...
Linux基础命令—进程管理

Linux基础命令—进程管理

基础知识 linux进程管理 什么是进程 开发写代码->代码运行起来->进程 运行起来的程序叫做进程程序与进程区别 1.程序是一个静态的概念,主要是指令集和数据的结合,可以长期存放在操作系统中 2.进程是一个动态的概念,主要是程序的运行状态,进程存在生命周期,生命周期结…
阅读更多...
Seata分布式事务实战XATCC模式

Seata分布式事务实战XATCC模式

目录 XA模式 XA 模式的使用 Spring Cloud Alibaba整合Seata XA TCC模式 TCC模式接口改造 TCC如何控制异常 Spring Cloud Alibaba整合Seata TCC XA模式 整体机制 在 Seata 定义的分布式事务框架内&#xff0c;利用事务资源&#xff08;数据库、消息服务等&#xff09;对…
阅读更多...
【Python从入门到进阶】49、当当网Scrapy项目实战（二）

【Python从入门到进阶】49、当当网Scrapy项目实战（二）

接上篇《48、当当网Scrapy项目实战&#xff08;一&#xff09;》 上一篇我们正式开启了一个Scrapy爬虫项目的实战&#xff0c;对当当网进行剖析和抓取。本篇我们继续编写该当当网的项目&#xff0c;讲解刚刚编写的Spider与item之间的关系&#xff0c;以及如何使用item&#xff…
阅读更多...
【python】0、超详细介绍：json、http

【python】0、超详细介绍：json、http

文章目录 一、json二、http2.1 json 读取 request 序列化 三、基本类型3.1 decimal 四、图像4.1 颜色格式转换 一、json import json f open(data.json) # open json file data json.load(f) # 读出 json object for i in data[emp_details]: # 取出一级属性 emp_details, …
阅读更多...
云尚办公-0.3.0

云尚办公-0.3.0

5. controller层 import pers.beiluo.yunshangoffice.model.system.SysRole; import pers.beiluo.yunshangoffice.service.SysRoleService;import java.util.List;//RestController&#xff1a;1.该类是控制器&#xff1b;2.方法返回值会被写进响应报文的报文体&#xff0c;而…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023