基于AWS的3D模型搜索服务实现

3D模型广泛应用于计算机游戏、电影、工程、零售业、广告等许多领域。市场上有很多制作3D模型的工具,但几乎没有工具可以直观地搜索3D模型数据库以找到类似的3D模型 因为开发好的 3D 模型搜索工具非常具有挑战性。 它需要复杂的计算和 AI/ML 框架来创建模型描述符并提取特征向量、数据库来保存和索引大量形状数据以及在大型数据集上进行近实时模式匹配。

在这里插入图片描述

推荐:用 NSDT编辑器 快速搭建可编程3D场景

1、要解决的业务问题

在这篇文章中,让我们了解 3D 模型业务中的实际业务问题,并了解如何在 AWS 云上实施该解决方案。

让我们从一个假设的业务问题开始。 工程设计公司 X 在旧数据存储中存储了大量 3D 模型,他们希望开展一项新业务来在线销售其模型。 公司希望提供使用照片、手绘或 3D 模型对象进行视觉搜索的服务,并找到匹配的 3D 模型,以便客户可以轻松选择和购买他们想要的模型。

在这里,X 公司在遗留数据库中拥有大量 3D 模型。 第一步是将模型下载到云存储(最好是 S3)并提取这些模型的形状和特征数据,然后对数据建立索引,以便将相似的模型分组在一起并实现高效搜索。

2、特征生成和索引

下图说明了形状和特征数据生成和索引的架构。
在这里插入图片描述

以下是实施该解决方案所需采取的步骤。

  • 配置提供无服务器批量计算平台的 AWS Batch 以运行连接到旧数据库并将 3D 模型文件下载到 S3 存储桶的服务。 可以安排它每晚运行。
  • 实施 AWS Lambda 函数来处理 S3 存储桶中下载的 3D 模型,并使用形状表示算法生成形状数据。 生成的形状数据应存储在 Amazon DynamoDB 中。 可以配置此 Lambda 函数以触发 S3 存储桶放置事件。
  • 实施另一个 AWS Lambda 函数,以不同角度创建 3D 模型的多个快照,并将它们作为图像存储在 S3 存储桶中。
  • 使用在众所周知的 ImageNet 数据集上预先训练的卷积神经网络 (CNN) 模型从生成的图像中提取特征,或者使用 Amazon SageMaker 训练和部署的模型
  • Amazon SageMaker 是一个完全托管的机器学习平台,允许创建、训练和部署 在 AWS 云中快速部署机器学习模型。 使用此模型,可以提取图像纹理、几何数据和元数据并将其存储在 Amazon DynamoDB 中。
  • 创建另一个 lambda 函数,以使用步骤 4 中提取的特征数据来丰富步骤 2 中生成的形状数据。现在形状数据已使用特征数据来丰富。 形状数据是一组浮点数。 下一步是将相似的形状分组在一起。
  • 使用 AWS lambda 函数,在 Amazon OpenSearch Service 上构建参考 k-NN 索引,这是一项完全托管的服务,可让你轻松、经济高效地大规模部署、保护和运行弹性搜索。 Amazon OpenSearch Service 提供 k-最近邻 (k-NN) 搜索,可以将形状数据存储为向量,并使用 k-NN 算法按欧几里得距离或余弦相似度对相似的形状数据进行分组。

现在,我们已经生成了富含特征的形状描述符,并使用 k 最近邻 (k-NN) 算法对它们进行了索引。 接下来,展示 3D 模型或模型的 2D 视图(你可以使用工具绘制前视图、顶视图和侧视图)以查询应用程序,以从 Amazon OpenSearch 中的索引数据中查找类似模型。

3、3D模型搜索

下图描述了从模型存储库中查找相似模型的实时 3D 模型搜索的架构。
在这里插入图片描述

  • 使用 S3 中托管的 Web 应用程序,你可以上传 3D 模型对象(如果有),也可以使用草图应用程序绘制模型的顶视图、前视图和侧视图,并将视图作为图像上传。 如果从不同角度呈现更多视图图像,将获得更准确的结果。
  • 上传的图像通过 Amazon API Gateway 发送到 AWS Lambda。
  • AWS Lambda 函数将为上传的模型/图像生成形状描述符,然后调用 Amazon SageMaker 实时端点来提取特征数据。
  • AWS Lambda 函数将利用特征数据丰富形状描述符。
  • AWS Lambda 函数将查询发送到 Amazon Elastic Search Service (Amazon OpenSearch Service) 索引中的 k 最近邻。 它将返回 k 个相似模型数据的列表,并返回模型各自的 Amazon S3 URI。
  • AWS Lambda 函数生成预签名的 Amazon S3 URL 以返回到客户端 Web 应用程序以可视化类似的模型。

本文的目的是解释使用 AWS 服务在 AWS 云上进行 3D 模型搜索服务的架构和高级实现细节。 添加了下面的常见问题解答部分以提供更多详细信息。

4、常见问题解答

  • 什么是 3D 形状描述符?

3D 形状描述符是一组数字,用于表示 3D 模型表面上的点,以捕获 3D 对象的几何本质。 它是 3D 对象的紧凑表示,描述符形成具有有意义的距离度量的向量空间。

  • 如何生成 3D 形状描述符?

有许多算法可用于生成 3D 形状描述符。 他们生成一组 2D 视图数据,这些数据是通过以不同角度旋转 3D 模型而生成的。 更多视图产生更高的准确性。 流行的算法是光场描述符(LFD)和多视图卷积神经网络(MVCNN)。

  • 什么是预训练 CNN 模型?

预训练模型是由某人创建和训练的模型,用于解决与我们遇到的问题类似的问题。 在我们的例子中,我们可以使用预先训练的 resnet50 卷积神经网络,该网络经过 ImageNet 数据库中超过一百万张图像的训练。 resnet50 可作为 SageMaker 中的内置算法使用。

  • 什么是 SageMaker?

它是一项完全托管的机器学习服务,可快速轻松地构建和训练机器学习模型,然后直接将其部署到生产就绪的托管环境中。

  • Amazon Elastic Search Service 与 Amazon OpenSearch Service。

Amazon Elastic Search Service 现在更名为 Amazon OpenSearch Service,它提供最新版本的 OpenSearch 以及由 OpenSearch 仪表板和 Kibana 提供支持的可视化功能。 它使你能够轻松摄取、保护、搜索、聚合、查看和分析大量数据。

  • Amazon OpenSearch Service 的 k-NN 是什么?

它允许你在向量空间中搜索点,并通过欧几里得距离或余弦相似度找到这些点的“k 个最近邻”。


原文链接:基于AWS的3D模型搜索 — BimAnt

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/51739.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【MySQL系列】Select语句单表查询详解(二)ORDERBY排序

💐 🌸 🌷 🍀 🌹 🌻 🌺 🍁 🍃 🍂 🌿 🍄🍝 🍛 🍤 📃个人主页 :阿然成长日记 …

C语言:选择+编程(每日一练Day8)

目录 选择题: 题一: 题二: 题三: 题四: 题五: 编程题: 题一:字符个数统计 思路一: 题二:多数元素 思路一: 本人实力有限可能对一些…

em 和 rem 的区别

前言 em 和 rem 都是相对单位,在使用时由浏览器转换为像素值,具体取决于你的设计中的字体大小设置。 如果你使用值 1em 或 1rem,它可以被浏览器解析成 从16px 到 160px 或其他任意值。 em 和 rem 的区别 em 和 rem 单位之间的区别是浏览器…

k8s 安装 istio(二)

3.3 部署服务网格调用链检测工具 Jaeger 部署 Jaeger 服务 kubectl apply -f https://raw.githubusercontent.com/istio/istio/release-1.16/samples/addons/jaeger.yaml 创建 jaeger-vs.yaml 文件 apiVersion: networking.istio.io/v1alpha3 kind: VirtualService metadata…

【面试】一文讲清组合逻辑中的竞争与冒险

竞争的定义:组合逻辑电路中,输入信号的变化传输到电路的各级逻辑门,到达的时间有先后,也就是存在时差,称为竞争。 冒险的定义:当输入信号变化时,由于存在时差,在输出端产生错误&…

Debug result = unpickler.load() ModuleNotFoundError: No module named ‘models‘

1.torch训练的yolov5转trt出现问题如下&#xff1a; Using CUDA device0 _CudaDeviceProperties(nameNVIDIA GeForce RTX 3080, total_memory10017MB)Find Pytorch weight Traceback (most recent call last):File "export.py", line 243, in <module>ckpt t…

Mac nvm 切换为淘宝镜像

编辑环境配置 # 或者 vim ~/.bash_profile $ vim ~/.zshrc贴入镜像 # 淘宝镜像 export NVM_NODEJS_ORG_MIRRORhttp://npm.taobao.org/mirrors/node export NVM_IOJS_ORG_MIRRORhttp://npm.taobao.org/mirrors/iojs# nvm环境配置 export NVM_DIR"$HOME/.nvm"[ -s &quo…

【实战】十一、看板页面及任务组页面开发(四) —— React17+React Hook+TS4 最佳实践,仿 Jira 企业级项目(二十六)

文章目录 一、项目起航&#xff1a;项目初始化与配置二、React 与 Hook 应用&#xff1a;实现项目列表三、TS 应用&#xff1a;JS神助攻 - 强类型四、JWT、用户认证与异步请求五、CSS 其实很简单 - 用 CSS-in-JS 添加样式六、用户体验优化 - 加载中和错误状态处理七、Hook&…

使用haproxy搭建web架构

haproxy HAProxy是一个免费的负载均衡软件&#xff0c;可以运行于大部分主流的Linux操作系统上。 HAProxy提供了可以在七层和四层两种负载均衡能力&#xff0c;它可以提供高可用性、负载均衡、及基于TCP和HTTP应用的代理。适用于负载大的Web站点&#xff0c;在运行在硬件上可…

libdrm全解析十九 —— 源码全解析(16)

接前一篇文章&#xff1a;libdrm全解析十八 —— 源码全解析&#xff08;15&#xff09; 本文参考以下博文&#xff1a; DRM 驱动程序开发&#xff08;VKMS&#xff09; 特此致谢&#xff01; 本文继续对include/drm/drm.h中实际功能宏定义进行讲解。 27. DRM_IOCTL_SET_SAR…

在React中,如何进行组件间的通信?请解释一下React的生命周期方法(Lifecycle Methods)是什么,以及它们的作用。

1、在React中&#xff0c;如何进行组件间的通信&#xff1f; 在React中&#xff0c;组件间的通信主要依赖于以下三种方式&#xff1a; Props&#xff1a;这是React中最重要的组件间通信方式。你可以将数据从一个组件传递到另一个组件&#xff0c;数据可以是简单的数据&#x…

To_Heart—题解——P6234 [eJOI2019] T形覆盖

link. 突然很想写这篇题解。虽然题目不算难。 考场只有30分是为什么呢&#xff1f;看来是我没有完全理解这道题目吧&#xff01; 首先很明显的转换是&#xff0c;把 T 型覆盖看成十字形&#xff0c;再考虑最后减去某一块的贡献。 然后然后直接往原图上面放十字形!对于每一个…

企业工程项目管理系统源码(三控:进度组织、质量安全、预算资金成本、二平台:招采、设计管理) em

​ 工程项目管理软件&#xff08;工程项目管理系统&#xff09;对建设工程项目管理组织建设、项目策划决策、规划设计、施工建设到竣工交付、总结评估、运维运营&#xff0c;全过程、全方位的对项目进行综合管理 工程项目各模块及其功能点清单 一、系统管理 1、数据字典&#…

1.4 启动MySQL客户端程序

成功启动MySQL服务器程序之后&#xff0c;就可以接着启动客户端程序来连接这个服务器。 bin 目录下有许多客户端程序&#xff0c;比方说 mysqladmin 、 mysqldump 、 mysqlcheck 等等。这里我们重点要关注的是可执行文件 mysql &#xff0c;通过这个可执行文件可以让我们和服务…

mysql数据库root密码遗忘后,修改root密码

目录 方式一&#xff1a; 方式二&#xff1a; 2.1 也可以像我这样&#xff0c;普通用户登录进去后 2.2 执行如下命令&#xff0c;将已知的user1的加密密文更新到root中 2.3 查询数据库 2.4 用root用户登录 2.5 登录正常&#xff0c;但这会root登录进去后&#xff0c;无法…

2023深圳智博会,正运动助力智能装备“更快更准”更智能!

■展会名称&#xff1a; 2023 深圳国际智能装备产业博览会暨深圳国际电子装备产业博览会&#xff08;以下简称“EeIE 智博会”&#xff09; ■展会日期 2023年8月29日-31日 ■展馆地点 深圳国际会展中心(宝安新馆) ■展位号 3B030 正运动技术&#xff0c;作为国内领先的…

smartbi token回调获取登录凭证漏洞

前段时间&#xff0c;Smartbi官方修复了一处权限绕过漏洞。未经授权的攻击者可利用该漏洞&#xff0c;获取管理员token&#xff0c;完全接管管理员权限。于是研究了下相关补丁并进行分析。 0x01分析结果 依据补丁分析&#xff0c;得到如下漏洞复现步骤 第一步&#xff0c;设…

网络安全---负载均衡案例

一、首先环境配置 1.上传文件并解压 2.进入目录下 为了方便解释&#xff0c;我们只用两个节点&#xff0c;启动之后&#xff0c;大家可以看到有 3 个容器&#xff08;可想像成有 3 台服务器就成&#xff09;。 二、使用蚁剑去连接 因为两台节点都在相同的位置存在 ant.jsp&…

《Effective C++中文版,第三版》读书笔记5

条款26&#xff1a;尽可能延后变量定义式出现时间 原因&#xff1a; ​ 只要你定义了一个变量而其类型带有一个构造和一个析构&#xff0c;程序控制流到达其定义时有构造成本&#xff0c;控制流离开该变量的作用域时有析构成本 尽可能延后 ​ 不只因该延后变量的定义&#…

CAD泰森多边形框架3D插件

插件介绍 CAD泰森多边形框架3D插件可用于在AutoCAD软件内生成三维Voronoi框架结构实体模型&#xff0c;适用于多孔Voronoi科研论文渲染绘图、Voronoi框架有限元建模、Voronoi空间结构优化等方面的应用。 使用说明 插件可设置生成的几何尺寸、晶格尺寸及边框直径等信息。 插…