亚马逊云科技产品测评』活动征文｜通过使用Amazon Neptune来预测电影类型初体验

文章目录

    • 福利来袭
    • Amazon Neptune
      • 什么是图数据库
      • 为什么要使用图数据库
      • 什么是Amazon Neptune
      • Neptune 的特点
    • 快速入门
      • 环境搭建
        • notebook
      • 图神经网络快速构建
        • 加载数据
        • 配置端点
        • Gremlin 查询
        • 清理
    • 删除环境
        • S3 存储桶删除

授权声明：本篇文章授权活动官方亚马逊云科技文章转发、改写权，包括不限于在 Developer Centre, 知乎，自媒体平台，第三方开发者媒体等亚马逊云科技官方渠道

福利来袭

前几天有小伙伴在群里灵魂发问：双11到来之际，阿里云、华为云、腾讯云哪家云服务的价格优惠力度最大？看到这个问题，群友各抒己见，展开了激烈的讨论，最终得出结论：三家国内云服务厂商提供的产品差异不大，价格优惠也不相上下。

在这里插入图片描述

看到这里，我将目光默默的转向了国外的云服务厂商亚马逊云（AWS）。大家作为 IT 人应该都知道亚马逊云在全球云市场中的地位举足轻重。据2021年全球云计算IaaS市场报告显示，亚马逊云市场份额高达38.9%，而国内最牛的阿里云也仅占9.5%。

来到亚马逊云的官网，我发现亚马逊云科技提供了100余种产品免费套餐。其中，计算资源Amazon EC2首年12个月免费，750小时/月；存储资源 Amazon S3 首年12个月免费，5GB标准存储容量；数据库资源 Amazon RDS 首年12个月免费，750小时；Amazon Dynamo DB 25GB存储容量 永久免费。

在这里插入图片描述

至于 活动地址 嘛，双手奉上，赶快来白嫖呀！同时给大家奉上数据库免费试用链接及上手教程

在AWS帐号注册过程中值得注意的一点：填写信用卡或者借记卡卡号时，虽然网址中标记的是VISA或者mastercard，其实普通的信用卡也是可以的。

当然除了价格优势之外，亚马逊云科技的优势还体现在以下方面：

  • 亚马逊云科技负责云自身的安全合规，不仅保证底层云基础设施和云服务的安全和合规；还提供了超过280多项安全、合规和治理方面的服务与工具。
  • 亚马逊云科技有着覆盖全球的基础设施。
  • 亚马逊云科技拥有超过200大类的云服务，从广度和深度上都能满足数字化出海和出海数字化的技术需求。
  • 亚马逊云科技与全球超过10万家合作伙伴一起为出海企业提供从咨询、迁移到解决方案构建、到云上交付和运维的完整服务。
  • 在全球，亚马逊是多个领域的引领者，包括亚马逊电商、智能物流、智能语音助手、智慧零售以及设备等多个领域。

Amazon Neptune

在了解Amazon Neptune之前，我们先来了解一下“图数据库”的概念。

什么是图数据库

在这里插入图片描述

如上图所示，将结点的人物和箭头表示的关系构成的图进行存储和查询的数据库就被称为图数据库。图数据库强调数据之间的关联关系，它将数据间的联系视为和数据本身同等重要。

为什么要使用图数据库

在互联网飞速发展的今天，传统的关系型数据库在处理关系操作方面表现出疲软的态势，而图数据库通过存储数据与关系，能将访问数据结点和关系的操作提升至线性时间复杂度，甚至能在一秒内遍历百万级的关系边，性能显著。

我们可以利用图数据库以多种方式表示现实世界实体之间的相互关系，包括行为、所有权、亲属关系、购买选择、个人联系、家庭关系等。以下是截止2021年8月，DB-ENGINES中图数据库前二十位的排行榜名单，我们可以看到Amazon的Neptune排在第八位。接下来就让我们来了解下Amazon Neptune。

在这里插入图片描述

什么是Amazon Neptune

Amazon Neptune是一项快速、可靠且完全托管式的图数据库服务，可用来帮助我们轻松构建和运行适用于高度互连数据集的应用程序。Neptune的核心是一个专门打造的高性能图形数据库引擎，此引擎经过优化，可存储数十亿条关系并以数毫秒级延迟查询图形。

Neptune 的特点

  • Neptune 支持流行的图表查询语言 Apache TinkerPop W3C SPARQL Grimlin 和 Neo4J 的 OpenPher，可让我们构建查询，高效地浏览高度互连数据集。
  • Neptune具有高度可用性，带有只读副本， point-in-time Amazon S3 的持续备份以及跨可用区的复制。
  • Neptune 提供了数据安全功能，并支持加密静态数据和传输中的数据。
  • Neptune 是完全托管的，因此再也无需担心数据库管理任务，例如硬件预配置、软件修补、设置、配置或备份。

光说不练假把式，接下来就让我们操练起来吧！

快速入门

环境搭建

首先我们需要登录到AWS的控制台

在这里插入图片描述

在控制台顶上搜索cloudshell

在这里插入图片描述

打开cloudshell之后如果出现如下页面，需要切换一下节点，如图所示

在这里插入图片描述

然后我们就可以创建 S3 存储桶了

在这里插入图片描述

其中cheetah-qing为自己的桶名，需要自定义。

我发现该桶名不支持下划线“_”。

接着我们需要通过命令来创建“堆栈“，命令如下：

aws cloudformation create-stack --stack-name get-started-neptune-ml --template-url https://s3.amazonaws.com/ee-assets-prod-us-east-1/modules/4f0f18a83e6148e895b10d87d4d89068/v1/gcr-buildon-selfpace/gcr-buildon-neptune-ml-nested-stack.json --capabilities CAPABILITY_IAM --region us-east-1 --disable-rollback

在这里插入图片描述

执行完命令后，大约需要等待30分钟：此时后台会启动一系列的服务。

我们可以通过在控制台顶上搜索cloudformation来查看堆栈是否创建完成，如果get-started-neptune-ml显示 CREATE_COMPLETE表示服务创建完成。

notebook

在搜索栏输入neptune，点击进入，导航栏选择“笔记本”，点击右侧的“查看笔记本文档”。

在这里插入图片描述

倘若没有 notebook，需确定地区是否选择正确，默认为美国东部，其次确认后台服务是否都启动完成。

图神经网络快速构建

我们可以根据上方打开的“ Amazon Neptune ML ”笔记来进行操作。在控制台输入命令来检查集群是否已正确配置可以运行 Neptune ML。

在这里插入图片描述

开始试验之前先来张步骤图感受下

在这里插入图片描述

加载数据

我们使用 Bulk Loader来加载数据，其流程与将数据摄入Amazon Neptune完全相同。通过编写脚本可以实现自动执行从MovieLens网站下载数据，调整数据格式，并将数据载入Neptune的全过程。脚本如下：

s3_bucket_uri="s3://cheetah-qing"
# remove trailing slashes
s3_bucket_uri = s3_bucket_uri[:-1] if s3_bucket_uri.endswith('/') else s3_bucket_uri

cheetah-qing为我们刚才创建的桶名称

执行response = neptune_ml.prepare_movielens_data(s3_bucket_uri)命令即可下载 MovieLens 数据，并将其调整为可被 Neptune 的 Bulk Loader 兼容的格式。

执行结果为

Completed Processing, data is ready for loading using the s3 url below:
s3://cheetah-qing/neptune-formatted/movielens-100k

操作完成后，执行%load -s {response} -f csv -p OVERSUBSCRIBE --run加载数据。

在这里插入图片描述

配置端点

执行命令来创建端点，并获取到推理端点的端点名称。

setup_node_classification=True
setup_node_regression=True
setup_link_prediction=True
setup_edge_classification=True
setup_edge_regression=Trueendpoints=neptune_ml.setup_pretrained_endpoints(s3_bucket_uri, setup_node_classification, setup_node_regression, setup_link_prediction, setup_edge_classification, setup_edge_regression)node_classification_endpoint=endpoints['node_classification_endpoint_name']['EndpointName']
node_regression_endpoint=endpoints['node_regression_endpoint_name']['EndpointName']
link_prediction_endpoint=endpoints['prediction_endpoint_name']['EndpointName']
edge_classification_endpoint=endpoints['edge_classification_endpoint_name']['EndpointName']
edge_regression_endpoint=endpoints['edge_regression_endpoint_name']['EndpointName']
Gremlin 查询

现在终于到了我们的电影类型预测环节了，我们一起来看看如何使用这些端点借助 Gremlin 查询进行推断。

在预测电影类型前，我们先执行

在这里插入图片描述

来验证图谱中，Forrest Gump 这个 movie 的 genre不包含任何 genre 值。

接下来我们修改这个查询，来预测 Apollo 13 的类型，开始之前先来设置一下：

  • 指定要在 Gremlin 查询中使用的推理端点：g.with("Neptune#ml.endpoint","<INSERT ENDPOINT NAME>")
  • 指定我们想要获取该属性的预测值：with("Neptune#ml.classification")

将这些内容结合在一起就可以得到下方的查询，该查询可通过我们的产品知识图谱预测电影 Forrest Gump 的 genre。执行命令：

%%gremlin
g.with("Neptune#ml.endpoint","${node_classification_endpoint}").V().has('title', 'Forrest Gump (1994)').properties("genre").with("Neptune#ml.classification").value()

在这里插入图片描述

查看结果可知，预测结果似乎是正确的，Forrest 似乎被正确预测为 Drama 类型。

很多情况下，我们可能需要预测一个节点的多个类别。例如在我们的产品知识图谱中，一部电影很可能被归类为多个类型，我们可能需要预测所有这些类型。默认情况下，Neptune ML 会返回排名第一的结果，但我们可以使用 .with("Neptune#ml.limit",3) 配置选项指定希望返回的结果数量。一起看看针对Forrest Gump 返回的，排名前三的结果吧。

在这里插入图片描述

Neptune ML 返回的每个值都有一个与之关联的置信度分数，而无论预测结果的置信度如何，上述查询都会返回排名前三的结果。虽然该分数在查询时不可用，但它可用于筛选掉置信度较低的预测。

假设我们想要返回Forrest Gump预测的排名前三的类型，但前提是这些结果必须满足特定的置信度要求。为此，可以使用.with("Neptune#ml.threshold",0.2D)选项为查询添加筛选器，如下所示。

在这里插入图片描述

如上所示，目前我们只得到了 Drama 这个预测类型，因为这是唯一高于阈值的预测结果。

清理

我们已经使用Amazon Neptune来完成了预测电影类型的初体验，我们之前创建的 SageMaker 端点依然在运行并会按照标准费率产生费用。如果已完成 Neptune ML 的试用工作，希望避免产生这种重复性的成本，那么可以运行neptune_ml.delete_pretrained_endpoints(endpoints)来删除所创建的推断端点。

除了推断端点的成本外，我们之前使用的CloudFormation脚本也创建了多个额外资源。如果我们的全部操作均已完成，那么我们得删除 CloudFormation 栈，以避免产生重复的费用。

删除环境

为了防止之后的额外扣费，必须进行下面的删除环境操作，

在这里插入图片描述

S3 存储桶删除

选择 cloudshell，执行aws s3 rb s3://cheetah-qing --force删除 S3 存储桶

在这里插入图片描述

至此，我们的使用Amazon Neptune来完成预测电影类型的初体验就已经完成了，现在我们来总结一下它的优势：

  • Amazon Neptune 支持 Gremlin 和 SPARQL 的开放图谱 API，并为这些图形模型及其查询语言提供高性能。
  • Neptune 可在三个可用区内支持最多 15 个低延迟读取副本，从而扩展读取容量并每秒执行超过 10 万个图形查询。
  • Neptune 旨在提供超过 99.99% 的可用性。其存储系统具有容错能力并能自我修复，专为云而构建，可以跨三个可用区复制六个数据副本。
  • Amazon Neptune 为您的数据库提供多级安全保护，包括使用 Amazon VPC 进行网络隔离、支持终端节点访问的 IAM 身份验证、HTTPS 加密的客户端连接、使用您通过 AWS Key Management Service (KMS) 创建和控制的密钥对静态数据进行加密。
  • Neptune 会自动持续地监控您的数据库并将其备份到 Amazon S3.因此可实现精细的时间点恢复。

如果有问题或者有更好的体验方式，欢迎留言或私信阿Q呦，我们一起进步！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/134387.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

chatgpt升级啦，训练数据时间更新到2023年4月，支持tools（升级functionCall），128k上下文

chatgpt升级啦，训练数据时间更新到2023年4月，支持tools（升级functionCall），128k上下文

&#xff08;2023年11月7日&#xff09; gpt-4-1106-preview https://platform.openai.com/docs/models/gpt-4-and-gpt-4-turbo 训练数据日期升级到2023年四月 上线文增加到128k 调用一次chatgpt接口&#xff0c;可以得到多次函数调用 import OpenAI from "openai"…
阅读更多...
水利部加快推进小型水库除险加固，大坝安全监测是重点

水利部加快推进小型水库除险加固，大坝安全监测是重点

国务院常务会议明确到2025年前&#xff0c;完成新出现病险水库的除险加固&#xff0c;配套完善重点小型水库雨水情和安全监测设施&#xff0c;实现水库安全鉴定和除险加固常态化。 为加快推进小型水库除险加固前期工作&#xff0c;水利部协调财政部提前下达了2023年度中央补助…
阅读更多...
网络流量分类概述

网络流量分类概述

1. 什么是网络流量&#xff1f; 一条网络流量是指在一段特定的时间间隔之内&#xff0c;通过网络中某一个观测点的所有具有相同五元组(源IP地址、目的IP地址、传输层协议、源端口和目的端口)的分组的集合。 比如(10.134.113.77&#xff0c;47.98.43.47&#xff0c;TLSv1.2&…
阅读更多...
YOLOv8-Pose推理详解及部署实现

YOLOv8-Pose推理详解及部署实现

目录 前言一、YOLOv8-Pose推理(Python)1. YOLOv8-Pose预测2. YOLOv8-Pose预处理3. YOLOv8-Pose后处理4. YOLOv8-Pose推理 二、YOLOv8-Pose推理(C)1. ONNX导出2. YOLOv8-Pose预处理3. YOLOv8-Pose后处理4. YOLOv8-Pose推理 三、YOLOv8-Pose部署1. 源码下载2. 环境配置2.1 配置CM…
阅读更多...
web前端js基础------制作滚动图片

web前端js基础------制作滚动图片

1&#xff0c;要求 通过定时器使其出现滚动的效果 可以通过按键控制图片滚动的方向&#xff08;设置两个按钮绑定点击事件&#xff09; 当鼠标悬停时图片停止&#xff0c;鼠标离开时图片继续向前滚动&#xff08;可以设置鼠标的悬停和离开事件&#xff09; 参考如下 conten…
阅读更多...
揭开堆叠式自动编码器的强大功能

揭开堆叠式自动编码器的强大功能

一、介绍 在不断发展的人工智能和机器学习领域&#xff0c;深度学习技术因其处理复杂和高维数据的能力而广受欢迎。在各种深度学习模型中&#xff0c;堆叠式自动编码器是一种多功能且功能强大的工具&#xff0c;可用于特征学习、降维和数据表示。本文探讨了堆叠式自动编码器在深…
阅读更多...
【论文阅读】Generating Radiology Reports via Memory-driven Transformer (EMNLP 2020)

【论文阅读】Generating Radiology Reports via Memory-driven Transformer (EMNLP 2020)

资料链接 论文原文&#xff1a;https://arxiv.org/pdf/2010.16056v2.pdf 代码链接&#xff08;含数据集&#xff09;&#xff1a;https://github.com/cuhksz-nlp/R2Gen/ 背景与动机 这篇文章的标题是“Generating Radiology Reports via Memory-driven Transformer”&#xf…
阅读更多...
【JAVA】：万字长篇带你了解JAVA并发编程-死锁优化【六】

【JAVA】：万字长篇带你了解JAVA并发编程-死锁优化【六】

目录 【JAVA】&#xff1a;万字长篇带你了解JAVA并发编程-并发编程的优化【六】并发编程的优化避免死锁死锁产生的条件避免死锁的方式死锁例程代码使用JpsJstack查看进程死锁问题 避免资源竞争 个人主页: 【⭐️个人主页】 需要您的【&#x1f496; 点赞关注】支持 &#x1f4a…
阅读更多...
C#，数值计算——偏微分方程，谱方法的微分矩阵的计算方法与源程序

C#，数值计算——偏微分方程，谱方法的微分矩阵的计算方法与源程序

1 文本格式 using System; namespace Legalsoft.Truffer { /// <summary> /// 谱方法的微分矩阵 /// Differentiation matrix for spectral methods /// </summary> public class Weights { public Weights() { …
阅读更多...
Spring Boot项目中通过 Jasypt 对属性文件中的账号密码进行加密

Spring Boot项目中通过 Jasypt 对属性文件中的账号密码进行加密

下面是在Spring Boot项目中对属性文件中的账号密码进行加密的完整步骤&#xff0c;以MySQL的用户名为root&#xff0c;密码为123321为例&#xff1a; 步骤1&#xff1a;引入Jasypt依赖 在项目的pom.xml文件中&#xff0c;添加Jasypt依赖&#xff1a; <dependency><…
阅读更多...
Go语言开发环境安装，hello world！

Go语言开发环境安装，hello world！

1. Go开发包SDK https://golang.google.cn/dl/&#xff08;国内也可以安装&#xff09; 根据自己电脑下载对应的安装包&#xff0c;我懒下载了msi安装 然后一路点确定安装Go 2.安装GoLand https://www.jetbrains.com/go/download/#sectionwindows 下载安装包 一路确定安装完…
阅读更多...
LoRaWAN物联网架构

LoRaWAN物联网架构

与其他网关一样&#xff0c;LoRaWAN网关也需要在规定的工作频率上工作。在特定国家部署网关时&#xff0c;必须要遵循LoRa联盟的区域参数。不过&#xff0c;它是没有通用频率的&#xff0c;每个国家对使用非授权MHZ频段都有不同的法律规定。例如&#xff0c;中国的LoRaWAN频段是…
阅读更多...
接口测试工具的实验，Postman、Swagger、knife4j（黑马头条）

接口测试工具的实验，Postman、Swagger、knife4j（黑马头条）

一、Postman 最常用的接口测试软件&#xff0c;需要注意点&#xff1a;在进行post请求时&#xff0c;需要选择JSON形式发送 输入JSON字符串&#xff0c;比如&#xff1a; {"maxBehotTime": "2021-04-19 00:19:09","minBehotTime": "2021-…
阅读更多...
微信小程序：怎么在一个js中修改另一个js的数据（这里通过缓存进行实现）

微信小程序：怎么在一个js中修改另一个js的数据（这里通过缓存进行实现）

实例&#xff1a;现有两个页面index.js和category.js,我现在想在index.js中修改category.js的数据 初始数据 category [{name: 物流配送,list: [{id: 1,job: 外卖骑手,checked: true}, {id: 2,job: 快递员,checked: false}, {id: 3,job: 司机,checked: false}, {id: 4,job: …
阅读更多...
Nat. Med. | 基于遗传学原发部位未知癌症的分类和治疗反应预测

Nat. Med. | 基于遗传学原发部位未知癌症的分类和治疗反应预测

今天为大家介绍的是来自Alexander Gusev团队的一篇论文。原发部位未知癌症&#xff08;Cancer of unknown primary&#xff0c;CUP&#xff09;是一种无法追溯到其原发部位的癌症&#xff0c;占所有癌症的3-5&#xff05;。CUP缺乏已建立的靶向治疗方法&#xff0c;导致普遍预后…
阅读更多...
支持存档的书签服务LinkWarden

支持存档的书签服务LinkWarden

什么是 LinkWarden &#xff1f; Linkwarden 是一个自托管、开源协作书签管理器&#xff0c;用于收集、组织和存档网页。目标是将您在网络上找到的有用网页和文章组织到一个地方&#xff0c;并且由于有用的网页可能会消失&#xff08;参见链接失效的必然性&#xff09;&#xf…
阅读更多...
回归模型原理总结及代码实现

回归模型原理总结及代码实现

前言 本文将介绍回归模型算法&#xff0c;并总结了一些常用的除线性回归模型之外的模型&#xff0c;其中包括一些单模型及集成学习器。 保序回归、多项式回归、多输出回归、多输出K近邻回归、决策树回归、多输出决策树回归、AdaBoost回归、梯度提升决策树回归、人工神经网络、…
阅读更多...
Kibana使用Timelion根据时间序列展示数据

Kibana使用Timelion根据时间序列展示数据

天行健&#xff0c;君子以自强不息&#xff1b;地势坤&#xff0c;君子以厚德载物。 每个人都有惰性&#xff0c;但不断学习是好好生活的根本&#xff0c;共勉&#xff01; 文章均为学习整理笔记&#xff0c;分享记录为主&#xff0c;如有错误请指正&#xff0c;共同学习进步。…
阅读更多...
工业自动化工厂PLC远程控制网关物联网应用

工业自动化工厂PLC远程控制网关物联网应用

远程控制网关在工厂自动化领域中起到了至关重要的作用&#xff0c;特别是在工厂PLC数据通讯方面。它充当着数据传输的桥梁&#xff0c;连接了工厂中的各类设备和系统&#xff0c;实现了远程监控和控制的功能。本文将详细介绍远程控制网关在工厂PLC数据通讯中的应用。 远程控制网…
阅读更多...
计算机毕业设计 基于SpringBoot的私人西服定制系统的设计与实现 Java实战项目 附源码+文档+视频讲解

计算机毕业设计 基于SpringBoot的私人西服定制系统的设计与实现 Java实战项目 附源码+文档+视频讲解

博主介绍&#xff1a;✌从事软件开发10年之余&#xff0c;专注于Java技术领域、Python人工智能及数据挖掘、小程序项目开发和Android项目开发等。CSDN、掘金、华为云、InfoQ、阿里云等平台优质作者✌ &#x1f345;文末获取源码联系&#x1f345; &#x1f447;&#x1f3fb; 精…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023