使用Amazon Web Services Lambda把天气预报推送到微信

最近北京开始下雨,开始和同事打赌几点能够雨停,虽然Iphone已经提供了实时天气,但是还是想用国内的API试试看看是不是更加准确些。

以下是我使用的服务:

  • 地图SDK/APP获取 经纬度
  • 彩云天气API 通过地理位置获取天气信息
  • Lambda 作为运行环境之行Python代码
  • APIGatway + Lambda代理集成
  • Eventbridge 触发定时任务
  • Server 酱推送消息

选择Lambda而没有选择EC2的原因是,每天的请求不大,每天10个请求以内,还有一点是不想自己管理服务器,所以在这就体现了无服务的优势。

由于以前做过实时天气的小程序,当时申请了彩云天气和高德地图的开发者SDK,所以这次相当于复用了之前的思路,顺便把这个逻辑迁移到云上。主要的思路是这样的:

  1. 使用地图SDK获取当前定位的经纬度,由于这次使用了Server酱推没办法实时获取前端地址,所以直接使用了地图拾取器获取了固定的坐标,毕竟平时两点一线基本在这个范围。这个是高德地图的示例:

在这里插入图片描述

如果使用Google地图的话,会发现精度会更高些。

在这里插入图片描述

  1. 使用彩云API,使用的是V2.6的稳定版,通过彩云API获取实时以及小时级别的天气。彩云对开发者提供了REST API调用。
curl "https://api.caiyunapp.com/v2.6/{token}/101.6656,39.2072/realtime"
  1. 编写Python代码调用这个API,然后把拿回来的数据发送给server酱的Webhook,然后把这个代码部署到Lambda上。

server酱的调用方式如下:

POST https://sctapi.ftqq.com/<token>.send?title=标题&desp=内容

转换成Python代码就是:

import requestsurl = "https://sctapi.ftqq.com/<token>.send?title=标题&desp=内容"
response = requests.request("POST", url)
print(response.text)
  1. 提供EventBridge 定时调用和APIGateway实时调用两种方式。

操作步骤

准备Lambda

我们先创建一个新的Lambda函数,使用最新的Python3.11,因为我的本地MacOS环境是M2 Pro,所以为了软件包更好的兼容性我选择了arm64,如果你是Intel 芯片的PC,当然也可以选择X86。
在这里插入图片描述

然后是更改默认执行角色和高级设置,如果默认的话Lambda会自动创建一个角色,这个我们在配置-权限-执行角色这里可以找到,默认给了写日志到cloudwatch的权限,如果缺少这个权限,那么我们在函数的print()和log.info()后后将看不见任何输出。

{"Version": "2012-10-17","Statement": [{"Effect": "Allow","Action": "logs:CreateLogGroup","Resource": "arn:aws:logs:us-east-1:123456789012:*"},{"Effect": "Allow","Action": ["logs:CreateLogStream","logs:PutLogEvents"],"Resource": ["arn:aws:logs:us-east-1:123456789012:log-group:/aws/lambda/caiyun:*"]}]
}

信任关系如下,如果你账户中恰好有这样信任关系的Role,那么也可使用这个Role而无需新建。

{"Version": "2012-10-17","Statement": [{"Effect": "Allow","Principal": {"Service": "lambda.amazonaws.com"},"Action": "sts:AssumeRole"}]
}

然后是网络,默认情况下Lambda是Public的,也就是说无法连接到VPC内的资源,比如数据库,或者下一层的API。幸运的是,Lambda可以随时在Public和VPC模式之前切换。最佳实践是至少为 Lambda 选择 2 个子网以在高可用性模式下运行。如果将一个函数连接到您账户中的 VPC 时,要提供函数对互联网的访问权限,需要将出站流量路由到公有子网中的 NAT 网关。

如果在创建Lambda的时候选择VPC模式,那么会自动加上如下策略,这个策略是允许在Lambda所在子网新建网卡的。

{"Version": "2012-10-17","Statement": [{"Effect": "Allow","Action": ["ec2:CreateNetworkInterface","ec2:DeleteNetworkInterface","ec2:DescribeNetworkInterfaces"],"Resource": "*"}]
}

下面看两种模式的对比,由于我不需要访问VPC内部的资源,所以我选择了Public模式。

两种模式对比优点缺点
Public无需配置访问互联网无法访问VPC内资源
VPC可以使用私有网卡访问VPC资源需要NAT网关才能访问互联

准备配置

在 Lambda 中,可以使用 AWS Systems Manager 和 AWS Secrets Manager 来管理环境变量。两者虽然有一些相似之处,但它们的用途和功能有所不同。以下是它们的区别:

好的,我们来比较一下在 AWS Lambda 中存储和访问数据的方式,并加入 S3:

  1. Lambda 环境变量:

    • 直接将敏感信息(例如 API 密钥)或配置数据作为键值对存储在 Lambda 函数的配置中。
    • 优点:简单易用,无需额外配置。
    • 缺点:安全性较低,环境变量会存储在 Lambda 函数代码包中,如果代码泄露,敏感信息也会随之暴露。不适合存储高度敏感的信息。
  2. AWS Systems Manager Parameter Store:

    • 将配置数据(例如数据库连接字符串、API 端点)存储在 Parameter Store 中,该服务提供安全存储和版本控制功能。
    • 优点:安全性更高,Parameter Store 可以使用 KMS 加密参数值,并支持版本控制和访问控制。
    • 缺点:需要额外配置 Lambda 函数以访问 Parameter Store。
  3. AWS Secrets Manager:

    • 将敏感信息(例如数据库密码、API 密钥)存储在 Secrets Manager 中,该服务提供高安全性的加密存储和访问控制。
    • 优点:安全性最高,Secrets Manager 使用 KMS 加密敏感信息,并提供严格的访问控制机制。支持密钥旋转功能。
    • 缺点:需要额外配置 Lambda 函数以访问 Secrets Manager。
  4. AWS S3:

    • 将数据(例如图片、日志文件、模型文件)存储在 S3 对象存储中,该服务提供高可扩展性、持久性和安全性。
    • 优点:高可扩展性、低成本、高度可用性。可以配置访问控制策略来限制对数据的访问。
    • 缺点:需要额外配置 Lambda 函数以访问 S3。S3 不是专门为存储敏感信息设计的,因此需要使用其他机制(例如 KMS 加密)来保护数据安全。

以下是关键区别的表格:

特性Lambda 环境变量Parameter StoreSecrets ManagerS3
安全性中(需要额外的安全措施)
加密可选 (KMS)KMS 加密KMS加密,S3服务端加密
访问控制可配置可配置
数据类型通常用于敏感信息通常用于配置数据通常用于高度敏感信息图片、日志文件、模型文件等
版本控制可通过版本控制功能实现
轮换密钥支持KMS加密支持

建议:

  • 对于非关键的配置数据,例如 API 端点,可以使用 Lambda 环境变量。

  • 对于需要版本控制和访问控制的配置数据,例如数据库连接字符串,可以使用 Parameter Store。

  • 对于高安全性的信息,例如数据库密码、API 密钥等,强烈建议使用 Secrets Manager。

  • 对于大型文件或不需要频繁更新的数据,例如图片、日志文件、模型文件等,可以使用 S3 对象存储。

示例代码

以下是使用 AWS SDK 获取 Parameter Store 参数、Secrets Manager 密钥以及设置环境变量的 Python 代码示例:

1. 从 Parameter Store 获取参数:

import boto3# 创建 Systems Manager 客户端
ssm_client = boto3.client('ssm')# 获取参数值
response = ssm_client.get_parameter(Name='your-parameter-name',  # 替换为您的参数名称WithDecryption=True  # 如果参数已加密,请设置为 True
)
parameter_value = response['Parameter']['Value']print(f"Parameter value: {parameter_value}")

解释:

  • 我们使用 boto3 库创建 Systems Manager 客户端。
  • get_parameter() 函数用于获取指定参数的值。
  • WithDecryption=True 参数确保加密的参数会被解密。
  • response['Parameter']['Value'] 包含参数值,您可以将其打印或使用。

2. 从 Secrets Manager 获取密钥:

import boto3# 创建 Secrets Manager 客户端
secrets_client = boto3.client('secretsmanager')# 获取 Secret 值
response = secrets_client.get_secret_value(SecretId='your-secret-id')# 解密 Secret 字符串
secret_string = response['SecretString']print(f"Secret value: {secret_string}")

解释:

  • 我们使用 boto3 库创建 Secrets Manager 客户端。
  • get_secret_value() 函数用于获取指定 Secret 的值。
  • response['SecretString'] 包含解密后的 Secret 值,您可以将其打印或使用。

3. 设置环境变量:

import os# 设置环境变量
os.environ['MY_ENVIRONMENT_VARIABLE'] = 'value'

解释:

  • 我们使用 os.environ 来设置环境变量。
  • 这里我们以 MY_ENVIRONMENT_VARIABLE 为例,您需要将它替换为实际的环境变量名称,并用相应的参数值填充 value

希望这些代码示例能够帮助您理解如何从 Parameter Store 和 Secrets Manager 获取数据,以及如何将其设置为环境变量!

使用S3

使用 boto3 从 Amazon S3 下载文件非常简单。以下是一个完整的 Python 代码示例,展示了如何实现此功能:

import boto3# 创建 S3 客户端对象
s3 = boto3.client('s3')# 设置您的 S3 Bucket 名称和要下载的文件路径
bucket_name = 'your-bucket-name'  
file_key = 'path/to/your/file.txt'  # 设置要保存文件本地路径
download_path = '/local/path/to/save/file.txt'# 下载文件
s3.download_file(bucket_name, file_key, download_path)print('File downloaded successfully!')

解释:

  1. 导入 boto3 库: import boto3 将 boto3 库导入您的 Python 代码中,以便使用其功能。
  2. 创建 S3 客户端对象: s3 = boto3.client('s3') 创建一个 S3 客户端对象,用于与 Amazon S3 服务进行交互。
  3. 设置 S3 Bucket 和文件路径:
    • bucket_name: 将此变量设置为您要下载文件所在的 S3 Bucket 名称。
    • file_key: 将此变量设置为要下载的文件在 S3 Bucket 中的完整路径(包括文件夹)。
  4. 设置本地保存路径: download_path 应该指向您想要将文件保存到本地机器上的位置。
  5. 下载文件:
    • s3.download_file(bucket_name, file_key, download_path) 使用 download_file() 方法从 S3 Bucket 下载指定的文件,并将内容保存到本地路径中。
  6. 打印成功消息: 如果下载成功,代码将打印 “File downloaded successfully!” 消息。

补充一下关于使用 boto3 从 S3 流式下载文件的内容:

import boto3# 创建 S3 客户端对象
s3 = boto3.client('s3')# 设置您的 S3 Bucket 名称和要下载的文件路径
bucket_name = 'your-bucket-name'  
file_key = 'path/to/your/file.txt'# 下载文件流
response = s3.download_fileobj(bucket_name, file_key)# 处理文件流,例如将其写入本地文件
with open('/local/path/to/save/file.txt', 'wb') as f:for chunk in response:f.write(chunk)print('File downloaded successfully!')
  1. 使用 download_fileobj() 方法:

    • 这将返回一个文件对象流,而不是直接下载文件内容到内存中。
  2. 处理文件流:

    • 我们使用 with open() 语句打开一个本地文件以写入模式 (‘wb’)。
    • 然后,我们循环遍历 response 中的每个块(chunk),并将它们写入打开的文件中。

优势:

  • 内存效率: 流式下载避免将整个文件加载到内存中,这对于处理非常大的文件尤其重要。
  • 灵活性: 您可以使用流式下载来直接处理文件数据,例如将其传递给其他程序或将其转换为不同的格式。
import boto3
import os
import requests
import json# 从环境变量中加载 S3 桶名称
BUCKET_NAME = os.environ.get('S3_BUCKET_NAME') # 加载配置(API 密钥、位置和服务器密钥)
def load_config():secretsmanager = boto3.client('secretsmanager')try:# 从 Secrets Manager 中获取 API 密钥response = secretsmanager.get_secret_value(SecretId='apikey-secret') apikey = response['SecretString']# 从 Secrets Manager 中获取服务器密钥response = secretsmanager.get_secret_value(SecretId='server_key-secret') server_key = response['SecretString']except ClientError as e:print(f"从 Secrets Manager 获取配置失败: {e}")exit(1)# 从 Parameter Store 中获取位置信息ssm = boto3.client('ssm')try:response = ssm.get_parameter(Name='location', WithDecryption=False)location = response['Parameter']['Value'] except ClientError as e:print(f"从 Parameter Store 获取位置信息失败: {e}")exit(1)return apikey, location, server_key# 从 S3 中加载天气数据
def load_skycon_data():s3 = boto3.client('s3')file_key = 'path/to/skycon_data.json' # 将此替换为 S3 中天气数据的路径try:response = s3.get_object(Bucket=BUCKET_NAME, Key=file_key)skycon_data = response['Body'].read().decode('utf-8')return json.loads(skycon_data)except ClientError as e:print(f"从 S3 获取天气数据失败: {e}")exit(1)# 获取实时天气数据(需要根据您的 API 和逻辑实现)
def get_real_data():# 使用 apikey 和 location 调用天气 API,获取实时数据 pass # 从天气数据中提取每小时预报信息(需要根据数据格式实现)
def hourly_data(skycon_data):# 处理 skycon_data,提取每小时的温度、降雨概率等信息pass# 将 JSON 数据转换为 Markdown 格式(需要根据您的需求实现)
def json2markdown(data):# 将处理后的天气数据转换为 Markdown 文本格式pass# 将 Markdown 数据发送到服务器(需要根据您的服务器设置实现)
def request_server(markdown_data, server_key):# 使用 server_key 对请求进行身份验证,将 markdown_data 发送到您的服务器passif __name__ == '__main__':apikey, location, server_key = load_config()skycon_data = load_skycon_data()real_data = get_real_data()  # 替换为您获取实时天气数据的逻辑hourly_forecast = hourly_data(skycon_data)  # 从天气数据中提取每小时预报信息markdown_output = json2markdown(hourly_forecast) # 将数据转换为 Markdown 格式request_server(markdown_output, server_key) # 发送 Markdown 数据到服务器
  1. 加载配置:

    • load_config() 函数从 Secrets Manager 中获取 API 密钥 (apikey) 和服务器密钥 (server_key),并从 AWS Parameter Store 中获取位置信息 (location).
  2. 加载天气数据:

    • load_skycon_data() 从 S3 中读取天气数据文件,并将其转换为 Python 字典。
  3. 获取实时天气数据:

    • get_real_data() 这是一个占位符函数,需要根据您的实际需求和天气 API 实现。它使用 API 密钥和位置信息来获取最新的天气数据。
  4. 提取每小时预报:

    • hourly_data() 也是一个占位符函数,需要根据您从 S3 中读取的天气数据格式进行实现。它负责解析天气数据并提取每小时的温度、降雨概率等信息。
  5. 转换为 Markdown 格式:

    • json2markdown() 这是一个占位符函数,需要根据您的需求实现将处理后的天气数据转换为 Markdown 文本格式。
  6. 发送数据到服务器:

    • request_server() 也是一个占位符函数,需要根据您的服务器设置实现。它使用服务器密钥对请求进行身份验证,并将 Markdown 数据发送到您的服务器。

请注意,您需要根据实际需求和数据格式来实现get_real_data(), hourly_data(), json2markdown()request_server() 这些函数。

执行之后我们就可以在方糖的公账号上看到推送了,
在这里插入图片描述

这个是具体的信息,我这里列出来了实时天气和每小时的天气。
在这里插入图片描述

EventBridge触发lambda

APIGateway代理集成

【1】https://aws.amazon.com/cn/lambda/
【2】https://lbs.amap.com/tools/picker
【3】https://docs.caiyunapp.com/weather-api/v2/v2.6/1-realtime.html
【4】https://sct.ftqq.com/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/48493.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

关于Mysql的面试题(实时更新中~)

一、主键约束与“not null unique”区别 1、作为Primary Key的域/域组不能为null&#xff0c;而Unique Key可以。 2、在一个表中只能有一个Primary Key&#xff0c;而多个Unique Key可以同时存在。unique not null 可以 将表的一列或多列定义为唯一性属性&#xff0c;而prima…

buu做题(6)

目录 [GWCTF 2019]我有一个数据库 [WUSTCTF2020]朴实无华 [GWCTF 2019]我有一个数据库 什么都没有, 尝试用dirsearch扫一下目录 可以扫到一个 /phpmyadmin 可以直接进入到数据库里面 但里面没什么东西 可以看到它的版本不是最新的, 搜一下相关的漏洞 phpMyAdmin 4.8.1后台文…

go关于string与[]byte再学深一点

目标&#xff1a;充分理解string与[]bytes零拷贝转换的实现 先回顾下string与[]byte的基本知识 1. string与[]byte的数据结构 reflect包中关于字符串的数据结构 // StringHeader is the runtime representation of a string.type StringHeader struct {Data uintptrLen int} …

ClickHouse 入门(一)【基本特点、数据类型与表引擎】

前言 今天开始学习 ClickHouse &#xff0c;一种 OLAP 数据库&#xff0c;实时数仓中用到的比较多&#xff1b; 1、ClickHouse 入门 ClickHouse 是俄罗斯的 Yandex&#xff08;搜索引擎公司&#xff09;在 2016 年开源的列式存储数据库&#xff08;HBase 也是列式存储&#xf…

某宝同款度盘不限速后台系统源码

简介&#xff1a; 某宝同款度盘不限速后台系统源码&#xff0c;验证已被我去除&#xff0c;两个后端系统&#xff0c;账号和卡密系统 第一步安装宝塔&#xff0c;部署卡密系统&#xff0c;需要环境php7.4 把源码丢进去&#xff0c;设置php7.4&#xff0c;和伪静态为thinkphp…

山东济南十大杰出人物起名大师颜廷利:影响世界的思想家哲学家教育家

在宇宙的广袤舞台上&#xff0c;各类智者以他们独特的方式揭示着世界的奥秘。数学家们在无尽的符号与公式中穿梭&#xff0c;像探索者般解锁着自然界的深层逻辑。考古学家们则跋涉于古老的土地&#xff0c;用他们的双手拂去岁月的尘埃&#xff0c;让沉睡的历史重见天日。 二十一…

spss是什么软件?spss有什么用

spss是什么软件&#xff1f; SPSS是一款数据统计、分析软件&#xff0c;它由IBM公司出品&#xff0c;这款软件平台提供了文本分析、大量的机器学习算法、数据分析模型、高级统计分析功能等&#xff0c;软件易学且功能非常强大&#xff0c;可以使用SPSS制作图表&#xff0c;例如…

汽车免拆诊断案例 | 2017 款林肯大陆车发动机偶尔无法起动

故障现象 一辆2017款林肯大陆车&#xff0c;搭载2.0T发动机&#xff0c;累计行驶里程约为7.5万km。车主进厂反映&#xff0c;有时按下起动按钮&#xff0c;起动机不工作&#xff0c;发动机无法起动&#xff0c;组合仪表点亮正常&#xff1b;多次按下起动按钮&#xff0c;发动机…

(21)起落架/可伸缩相机支架

文章目录 前言 1 连接到自动驾驶仪 2 通过任务规划器设置 3 其他参数 4 参数说明 前言 Copter 和 Plane 支持可伸缩的起落架/相机支架&#xff0c;由伺服机制激活&#xff08;如 Hobby King 出售的用于copters 的这些&#xff09;。齿轮/支架可以手动缩回或用一个辅助开关…

【 DHT11 温湿度传感器】使用STC89C51读取发送到串口、通过时序图编写C语言

文章目录 DHT11 温湿度传感器概述接线数据传送通讯过程时序图检测模块是否存在 代码实现总结对tmp tmp << 1;的理解对sendByte(datas[0]/10 0x30);的理解 DHT11 温湿度传感器 使用80C51单片机通过读取HDT11温湿度传感的数据&#xff0c;发送到串口。 通过时序图编写相应…

微信小程序数组绑定使用案例(一)

微信小程序数组绑定案例&#xff0c;修改数组中的值 1.Wxml 代码 <view class"list"><view class"item {{item.ischeck?active:}}" wx:for"{{list}}"><view class"title">{{item.name}} <text>({{item.id}…

Redis7(二)Redis持久化双雄

持久化之RDB RDB的持久化方式是在指定时间间隔&#xff0c;执行数据集的时间点快照。也就是在指定的时间间隔将内存中的数据集快照写入磁盘&#xff0c;也就是Snapshot内存快照&#xff0c;它恢复时再将硬盘快照文件直接读回到内存里面。 RDB保存的是dump.rdb文件。 自动触发…

昇思25天学习打卡营第25天|MindNLP ChatGLM-6B StreamChat

配置环节 %%capture captured_output !pip uninstall mindspore -y !pip install -i https://pypi.mirrors.ustc.edu.cn/simple mindspore2.2.14 !pip install mindnlp !pip install mdtex2html配置国内镜像 !export HF_ENDPOINThttps://hf-mirror.com下载与加载模型 from m…

【计算机视觉】siamfc论文复现实现目标追踪

什么是目标跟踪 使用视频序列第一帧的图像(包括bounding box的位置)&#xff0c;来找出目标出现在后序帧位置的一种方法。 什么是孪生网络结构 孪生网络结构其思想是将一个训练样本(已知类别)和一个测试样本(未知类别)输入到两个CNN(这两个CNN往往是权值共享的)中&#xff0…

代码解读:Diffusion Models中的长宽桶技术(Aspect Ratio Bucketing)

Diffusion Models专栏文章汇总&#xff1a;入门与实战 前言&#xff1a;自从SDXL提出了长宽桶技术之后&#xff0c;彻底解决了不同长宽比的图像输入问题&#xff0c;现在已经成为训练扩散模型必选的方案。这篇博客从代码详细解读如何在模型训练的时候运用长宽桶技术(Aspect Rat…

【机器学习】-- SVM核函数(超详细解读)

支持向量机&#xff08;SVM&#xff09;中的核函数是支持向量机能够处理非线性问题并在高维空间中学习复杂决策边界的关键。核函数在SVM中扮演着将输入特征映射到更高维空间的角色&#xff0c;使得原始特征空间中的非线性问题在高维空间中变得线性可分。 一、SVM是什么&#x…

时间卷积网络(TCN):序列建模的强大工具(附Pytorch网络模型代码)

这里写目录标题 1. 引言2. TCN的核心特性2.1 序列建模任务描述2.2 因果卷积2.3 扩张卷积2.4 残差连接 3. TCN的网络结构4. TCN vs RNN5. TCN的应用TCN的实现 1. 引言 引用自&#xff1a;Bai S, Kolter J Z, Koltun V. An empirical evaluation of generic convolutional and re…

Linux系统之部署扫雷小游戏(三)

Linux系统之部署扫雷小游戏(三) 一、小游戏介绍1.1 小游戏简介1.2 项目预览二、本次实践介绍2.1 本地环境规划2.2 本次实践介绍三、检查本地环境3.1 检查系统版本3.2 检查系统内核版本3.3 检查软件源四、安装Apache24.1 安装Apache2软件4.2 启动apache2服务4.3 查看apache2服…

大厂生产解决方案:泳道隔离机制

更多大厂面试内容可见 -> http://11come.cn 大厂生产解决方案&#xff1a;泳道隔离机制 背景 在公司中&#xff0c;由于项目多、开发人员多&#xff0c;一般会有多套测试环境&#xff08;可以理解为多个服务器&#xff09;&#xff0c;同一套服务会在多套测试环境中都部署…

如何解决微服务下引起的 分布式事务问题

一、什么是分布式事务&#xff1f; 虽然叫分布式事务&#xff0c;但不是一定是分布式部署的服务之间才会产生分布式事务。不是在同一个服务或同一个数据库架构下&#xff0c;产生的事务&#xff0c;也就是分布式事务。 跨数据源的分布式事务 跨服务的分布式事务 二、解决方…