基于 abp vNext 和 .NET Core 开发博客项目 - 定时任务最佳实战(三)

上一篇完成了全网各大平台的热点新闻数据的抓取,本篇继续围绕抓取完成后的操作做一个提醒。当每次抓取完数据后,自动发送邮件进行提醒。

在开始正题之前还是先玩一玩之前的说到却没有用到的一个库PuppeteerSharp

PuppeteerSharp:Headless Chrome .NET API ,它运用最多的应该是自动化测试和抓取异步加载的网页数据,更多介绍可以看GitHub:https://github.com/hardkoded/puppeteer-sharp 。

我这里主要来试试它的异步抓取功能,同时它还能帮我们生成网页截图或者PDF。

如果没有安装可以先安装一下,在.BackgroundJobs层安装PuppeteerSharpInstall-Package PuppeteerSharp

在Jobs文件夹下新建一个PuppeteerTestJob.cs,继承IBackgroundJob,同样是在ExecuteAsync()方法中执行操作。

//PuppeteerTestJob.cs
using System;
using System.Threading.Tasks;namespace Meowv.Blog.BackgroundJobs.Jobs.PuppeteerTest
{public class PuppeteerTestJob : IBackgroundJob{public async Task ExecuteAsync(){throw new NotImplementedException();}}
}

使用 await new BrowserFetcher().DownloadAsync(BrowserFetcher.DefaultRevision); 第一次检测到没有浏览器文件会默认帮我们下载 chromium 浏览器。

DownloadAsync(...)可以指定 Chromium 版本,BrowserFetcher.DefaultRevision 下载当前默认最稳定的版本。

然后配置浏览器启动的方式。

using var browser = await Puppeteer.LaunchAsync(new LaunchOptions
{Headless = true,Args = new string[] { "--no-sandbox" }
});

感兴趣的可以自己看看LaunchOptions有哪些参数,我这里指定了Headless = true 以无头模式运行浏览器,然后加了一个启动参数 "--no-sandbox"。针对Linux环境下,如果是运行在 root 权限下,在启动 Puppeteer 时要添加 "--no-sandbox" 参数,否则 Chromium 会启动失败。

我们打开一个异步加载的网页,然后获取到页面加载完后的HTML,以我个人博客中的某个单页为例:https://meowv.com/wallpaper 。

//PuppeteerTestJob.cs
using PuppeteerSharp;
using System.Threading.Tasks;namespace Meowv.Blog.BackgroundJobs.Jobs.PuppeteerTest
{public class PuppeteerTestJob : IBackgroundJob{public async Task ExecuteAsync(){await new BrowserFetcher().DownloadAsync(BrowserFetcher.DefaultRevision);using var browser = await Puppeteer.LaunchAsync(new LaunchOptions{Headless = true,Args = new string[] { "--no-sandbox" }});using var page = await browser.NewPageAsync();await page.SetViewportAsync(new ViewPortOptions{Width = 1920,Height = 1080});var url = "https://meowv.com/wallpaper";await page.GoToAsync(url, WaitUntilNavigation.Networkidle0);var content = await page.GetContentAsync();}}
}

page.SetViewportAsync()设置网页预览大小,page.GoToAsync()语法打开网页,WaitUntilNavigation.Networkidle0等待网页加载完毕,使用page.GetContentAsync()获取到HTML。

新建扩展方法,调用这个PuppeteerTestJobExecuteAsync()方法,调试看看效果。

HTML已经出来了,此时该干嘛就干嘛就可以了。

第一次运行可能会很慢,因为如果你本地不存在 Chromium 是会去帮我们下载的,因为网络原因可能会下载的很慢,所以推荐大家手动下载。

可以使用淘宝的源:https://npm.taobao.org/mirrors/chromium-browser-snapshots 。

要注意的是,下载完成后的解压的路径不能出错,默认下载地址是在启动目录下面。

Windows:..\.local-chromium\Win64-706915\chrome-win 、 Linux:../.local-chromium/Linux-706915/chrome-linux

接下来试试生成PDF和保存图片功能,使用方式也很简单。

await page.PdfAsync("meowv.pdf",new PdfOptions { });
await page.ScreenshotAsync("meowv.png", new ScreenshotOptions
{FullPage = true,Type = ScreenshotType.Png
});

这里只做简单的展示,page.PdfAsync()直接生成PDF文件,同时还有很多方法可以自己调用page.试试,PdfOptions选项中可以设置各种参数。

page.ScreenshotAsync()保存图片,ScreenshotOptions中FullPage可以设置保存图片为全屏模式,图片格式为Png类型。

可以看到项目根目录已经生成了图片和PDF,感觉去试试吧。

接下里来实现发送邮件的功能。

我这里发邮件的账号是用的腾讯企业邮箱,也可以用普通邮箱开通SMTP服务即可。

appsettings.json配置收发邮件的账号等信息。

//appsettings.json"Email": {"Host": "smtp.exmail.qq.com","Port": 465,"UseSsl": true,"From": {"Username": "123@meowv.com","Password": "[Password]","Name": "MEOWV.COM","Address": "123@meowv.com"},"To": [{"Name": "test1","Address": "test1@meowv.com"},{"Name": "test2","Address": "test2@meowv.com"}]}

然后再AppSettings中读取配置的项。

//AppSettings.cs
public static class Email
{/// <summary>/// Host/// </summary>public static string Host => _config["Email:Host"];/// <summary>/// Port/// </summary>public static int Port => Convert.ToInt32(_config["Email:Port"]);/// <summary>/// UseSsl/// </summary>public static bool UseSsl => Convert.ToBoolean(_config["Email:UseSsl"]);/// <summary>/// From/// </summary>public static class From{/// <summary>/// Username/// </summary>public static string Username => _config["Email:From:Username"];/// <summary>/// Password/// </summary>public static string Password => _config["Email:From:Password"];/// <summary>/// Name/// </summary>public static string Name => _config["Email:From:Name"];/// <summary>/// Address/// </summary>public static string Address => _config["Email:From:Address"];}/// <summary>/// To/// </summary>public static IDictionary<string, string> To{get{var dic = new Dictionary<string, string>();var emails = _config.GetSection("Email:To");foreach (IConfigurationSection p in emails.GetChildren()){var name = p["Name"];var address = p["Address"];dic.Add(name, address);}return dic;}}
}

分别介绍下每项的含义:

  • Host:发送邮件服务器地址。

  • Port:服务器地址端口号。

  • UseSsl:是否使用SSL方式。

  • From:发件人的账号密码,名称及邮箱地址,一般邮箱地址和账号是相同的。

  • To:收件人邮箱列表,也包含名称和邮箱地址。

收件人邮箱列表我将其读取为IDictionary<string, string>了,key是名称,value是邮箱地址。

接着在.ToolKits层添加一个EmailHelper.cs,收发邮件我选择了MailKitMailKit两个库,没有安装的先安装一下,Install-Package MailKitInstall-Package MimeKit

直接新建一个发送邮件的方法SendAsync(),按照要求将基本的配置信息填进去,然后直接调用即可。

//EmailHelper.cs
using MailKit.Net.Smtp;
using Meowv.Blog.Domain.Configurations;
using MimeKit;
using System.Linq;
using System.Threading.Tasks;namespace Meowv.Blog.ToolKits.Helper
{public static class EmailHelper{/// <summary>/// 发送Email/// </summary>/// <param name="message"></param>/// <returns></returns>public static async Task SendAsync(MimeMessage message){if (!message.From.Any()){message.From.Add(new MailboxAddress(AppSettings.Email.From.Name, AppSettings.Email.From.Address));}if (!message.To.Any()){var address = AppSettings.Email.To.Select(x => new MailboxAddress(x.Key, x.Value));message.To.AddRange(address);}using var client = new SmtpClient{ServerCertificateValidationCallback = (s, c, h, e) => true};client.AuthenticationMechanisms.Remove("XOAUTH2");await client.ConnectAsync(AppSettings.Email.Host, AppSettings.Email.Port, AppSettings.Email.UseSsl);await client.AuthenticateAsync(AppSettings.Email.From.Username, AppSettings.Email.From.Password);await client.SendAsync(message);await client.DisconnectAsync(true);}}
}

SendAsync(...)接收一个参数MimeMessage对象,这样就完成了一个通用的发邮件方法,接着我们去需要发邮件的地方构造MimeMessage,调用SendAsync()

//WallpaperJob.cs
...// 发送Emailvar message = new MimeMessage{Subject = "【定时任务】壁纸数据抓取任务推送",Body = new BodyBuilder{HtmlBody = $"本次抓取到{wallpapers.Count()}条数据,时间:{DateTime.Now:yyyy-MM-dd HH:mm:ss}"}.ToMessageBody()};await EmailHelper.SendAsync(message);
...
//HotNewsJob.cs
...// 发送Emailvar message = new MimeMessage{Subject = "【定时任务】每日热点数据抓取任务推送",Body = new BodyBuilder{HtmlBody = $"本次抓取到{hotNews.Count()}条数据,时间:{DateTime.Now:yyyy-MM-dd HH:mm:ss}"}.ToMessageBody()};await EmailHelper.SendAsync(message);
...

分别在两个爬虫脚本中添加发送Email,MimeMessage中设置了邮件主题Subject,正文Body,最后调用await EmailHelper.SendAsync(message)执行发送邮件操作。

编译运行执行两个定时任务,看看能否收到邮件提醒。

成功了,邮箱收到了两条提醒。

还有一种比较特殊的用法,也介绍一下,如果想要发送带图片的邮件怎么操作呢?注意不是附件,是将图片内嵌在邮箱中。

一般常规都是有邮件模板的,将图片的具体地址插入到img标签中,这就不说了,这里选择另外一种方式。以前面添加的PuppeteerTestJob为例,正好我们生成了一张图片的。将这种图片以邮件的形式发出去。

public class PuppeteerTestJob : IBackgroundJob
{public async Task ExecuteAsync(){var path = Path.Combine(Path.GetTempPath(), "meowv.png");...await page.ScreenshotAsync(path, new ScreenshotOptions{FullPage = true,Type = ScreenshotType.Png});// 发送带图片的Emailvar builder = new BodyBuilder();var image = builder.LinkedResources.Add(path);image.ContentId = MimeUtils.GenerateMessageId();builder.HtmlBody = "当前时间:{0}.<img src=\"cid:{1}\"/>".FormatWith(DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss"), image.ContentId);var message = new MimeMessage{Subject = "【定时任务】每日热点数据抓取任务推送",Body = builder.ToMessageBody()};await EmailHelper.SendAsync(message);}
}

先确定我们生成图片的路径 path ,将图片生成Message-Id,然后赋值给ContentId,给模板中<img src=\"cid:{1}\"/>图片标签cid赋上值在调用发送邮件方法即可。

成功收到邮件,搞定了,你学会了吗?????????????

开源地址:https://github.com/Meowv/Blog/tree/blog_tutorial


基于 abp vNext 和 .NET Core 开发博客项目,截止到本篇所用到的基础模块算是写完了,如果对您有些许帮助请多多分享,我的所有原创文章都首发于我发个人公众号:阿星Plus 。

不管因为什么,如果你在学习这个项目或者跟着我一起做这个项目,里面肯定还是有瑕疵的,大家可以根据自己的需求自行修改。

接下来应该还会更新博客所用到的接口,这个纯属于CRUD,可以自己先行开发,我这边目前也不知道以什么样的方式展现给大家是最好的选择。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/309485.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

创建型模式——工厂模式

一、 实验目的与要求 1.练习使用工厂模式。设计相关的模拟场景并进行实施&#xff0c;验证模式特性&#xff0c;掌握其优缺点。 2.实验结束后&#xff0c;对相关内容进行总结。 二、实验内容 1.模式应用场景说明 作为一个青年人&#xff0c;最好的伙伴就是手机。而手机最重…

dotNET Core 3.X 依赖注入

如果说在之前的 dotNET 版本中&#xff0c;依赖注入还是个比较新鲜的东西&#xff0c;那么在 dotNET Core 中已经是随处可见了&#xff0c;可以说整个 dotNET Core 的框架是构建在依赖注入框架之上。本文说说对 dotNET Core 中依赖注入的理解。什么是依赖在面向对象的语言中&am…

创建型模式——抽象工厂模式

一、 实验目的与要求 1.练习使用工厂模式。设计相关的模拟场景并进行实施&#xff0c;验证模式特性&#xff0c;掌握其优缺点。 2.实验结束后&#xff0c;对相关内容进行总结。 二、实验内容 1.模式应用场景说明 手机CPU生产工厂&#xff1a;在一个工厂里面&#xff0c;有A…

[JavaWeb-MySQL]多表查询概述

多表查询&#xff1a; * 查询语法&#xff1a;select列名列表from表名列表where.... * 准备sql# 创建部门表CREATE TABLE dept(id INT PRIMARY KEY AUTO_INCREMENT,NAME VARCHAR(20));INSERT INTO dept (NAME) VALUES (开发部),(市场部),(财务部);# 创建员工表CREATE TABLE em…

【壹刊】Azure AD(三)Azure资源的托管标识

一&#xff0c;引言来个惯例&#xff0c;吹水&#xff01;????????????????????前一周因为考试&#xff0c;还有个人的私事&#xff0c;一下子差点颓废了。想了想&#xff0c;写博客这种的东西还是得坚持&#xff0c;再忙&#xff0c;也要检查。要养成一种…

[JavaWeb-JDBC]JDBC概念

JDBC&#xff1a; 1. 概念&#xff1a;Java DataBase Connectivity Java 数据库连接&#xff0c; Java语言操作数据库JDBC本质&#xff1a;其实是官方&#xff08;sun公司&#xff09;定义的一套操作所有关系型数据库的规则&#xff0c;即接口。各个数据库厂商去实现这套接口…

创建型模式——建造者模式

一、 实验目的与要求 1.练习使用工厂模式。设计相关的模拟场景并进行实施&#xff0c;验证模式特性&#xff0c;掌握其优缺点。 2.实验结束后&#xff0c;对相关内容进行总结。 二、实验内容 1.模式应用场景说明 Decis创建一个获取多套餐信息&#xff0c;包含A套餐&#xf…

android studio模拟器的安装与使用

来回弄了好几遍&#xff0c;网上也都搜过下载过很多版本&#xff0c;其中夜神模拟器是真的方便&#xff0c;也好用&#xff0c;棒极了&#xff01;那么我就来分享一下&#xff1a; 第一&#xff0c;肯定是下载啦 下载链接&#xff1a;夜神模拟器官方 接着就是连接了&#xff0c…

如何训练解决问题的能力?

作为程序员&#xff0c;技术能力固然很重要&#xff0c;但平时除了提升技术能力也别忽略了其它方面的能力。你可以写一辈子代码&#xff0c;但你不能一辈子只写代码。当你的技术能力足以使你在公司站稳脚跟时&#xff0c;你可以停下来锻炼自己的管理能力&#xff0c;比如职场中…

PS照片换底色

因为写简历嘛&#xff0c;手边没有白色底的照片&#xff0c;就用ps换了个底色&#xff0c;记录一下&#xff0c;下次可能还要用。这里我用幂幂的照片来代替。 打开ps&#xff0c;点击文件&#xff0c;点击打开&#xff0c;找到你需要处理的照片。 -点击旁边的对象选择工具&…

小心 HttpClient 中的 FormUrlEncodeContent 的 bug

小心 HttpClient 中的 FormUrlEncodeContent 的 bugIntro最近发现活动室预约项目里的上传图片有时候会有问题&#xff0c;周末找时间测试了一下&#xff0c;发现小图片的上传没问题&#xff0c;大图片上传会有问题&#xff0c;而且异常信息还很奇怪&#xff0c;System.UriForma…

IDEA导入MySQL的jdbc驱动出现“java.lang.ClassNotFoundException: com.mysql.cj.jdbc.Driver”

目录 一、一般的解决思路 1、JDBC下载链接 2、选择下载内容&#xff0c;并进行下载 3、将驱动导入java项目 二、依然导入驱动失败怎么办 当我们在idea中使用java操作mysql数据库时会出现&#xff1a; Exception in thread "main" java.lang.ClassNotFoundExce…

Android程序设计基础-设计布局之伪今日头条主界面

一、 实验目的 &#xff08;1&#xff09; 掌握Andriod Studio的基本使用方法&#xff1b; &#xff08;2&#xff09; 掌握Andriod Studio中常用的控件及其使用方法&#xff1b; 二、实验内容 &#xff08;1&#xff09;使用Android Studio编写任意一个Android程序并运行&a…

基于 abp vNext 和 .NET Core 开发博客项目 - 博客接口实战篇(一)

系列文章使用 abp cli 搭建项目给项目瘦身&#xff0c;让它跑起来完善与美化&#xff0c;Swagger登场数据访问和代码优先自定义仓储之增删改查统一规范API&#xff0c;包装返回模型再说Swagger&#xff0c;分组、描述、小绿锁接入GitHub&#xff0c;用JWT保护你的API异常处理和…

MySql轻松入门系列——第一站 从源码角度轻松认识mysql整体框架图

一&#xff1a;背景1. 讲故事最近看各大技术社区&#xff0c;不管是知乎&#xff0c;掘金&#xff0c;博客园&#xff0c;csdn基本上看不到有小伙伴分享sqlserver类的文章&#xff0c;看样子这些年sqlserver没落了&#xff0c;已经后继无人了&#xff0c;再写sqlserver是不可能…

嫌弃俄罗斯的火箭报价太黑!马斯克自己造火箭!SpaceX首次载人发射任务成功!太牛了!...

当你仰望天空&#xff0c;可曾想象到&#xff0c;距地8公里的平流层每分钟有65架飞机在天空穿梭&#xff0c;距地20公里有太阳能激光通信无人机展翅翱翔、高空通信热气球悠闲的漂荡&#xff0c;再往上有世界各大企业的低轨宽带卫星&#xff0c;在往上是各国的若干低轨道、中轨道…

ASP.NET Core 3.x API版本控制

前言一般来说需要更改我们API的时候才考虑版本控制&#xff0c;但是我觉得我们不应该等到那时候来实现它&#xff0c;我们应该有一个版本策略从我们应用程序开发时就开始制定好我们的策略&#xff0c;我们一直遵循着这个策略进行开发。我们其实可以通过多种方式进行实现我们API…

[JavaWeb-HTML]HTML标签_文本标签_练习

案列效果: 文本素材: "中关村黑马程序员训练营"是由传智播客联合中关村软件园、CSDN&#xff0c; 并委托传智播客进行教学实施的软件开发高端培训机构&#xff0c;致力于服务各大软件企业&#xff0c;解决当前软件开发技术飞速发展&#xff0c; 而企业招不到优秀人才…

在 WSL2.0 的 Ubuntu 18 里使用 Docker

近日&#xff0c;随着Windows 10 2004版本的发布&#xff0c;WSL 2经过了近一年的insider测试&#xff0c;现在也正式上线了。Windows 10 2004中引入了一个真实的Linux kernel&#xff0c;使得系统全部的系统调用更加兼容。这也是首次&#xff0c;Linux kernel安装在Windows系统…

基本程序单元Activity—Activity生命周期之数据传递小程序

一、 实验目的 &#xff08;1&#xff09; 掌握Andriod Studio的基本使用方法&#xff1b; &#xff08;2&#xff09; 掌握Andriod Studio中常用的控件及其使用方法&#xff1b; 二、 实验内容 题目&#xff1a; 编写一个数据传递的小程序&#xff0c;要求在第一个界面输入…