一类机械神经网络的架构材料,未来智能技术的全新畅想

编辑 | 萝卜皮

除了一些活组织之外,很少有材料能够在长时间暴露于意料之外的环境负载情况下自主学习表现出所需的行为。在不断变化的条件下(例如,内部损坏程度的上升、不同的夹具场景和波动的外部负载),仍然有更少的材料可以继续表现出先前习得的行为,同时还能获得最适合当前情况的新行为。

如果拥有这类可因环境而进行学习,并因此改变功能属性的人工智能(AI)材料,除了 AI 机器人产业,建筑、航空等多个产业也将迎来福音。

在这里,加州大学的研究人员描述了一类称为机械神经网络(MNN)的架构材料,它通过调整其组成梁的刚度来实现这种学习能力,类似于人工神经网络 (ANN) 调整其权重的方式。

该团队制造了一个示例晶格来证明其同时学习多种机械行为的能力,同时研究确定晶格尺寸、包装配置、算法类型、行为数和线性与非线性刚度可调性对 MNN 学习的影响。这项工作为拥有学习行为和属性的人工智能材料奠定了基础。

该研究以「Mechanical neural networks: Architected materials that learn behaviors」为题,于 2022 年 10 月 19 日发布在《Science Robotics》。

743db6ba90b1574c0cc609e67f99689f.png

科学家们受到构成生物大脑的神经元互连网络的启发,并以无与伦比的速度和能量效率实现复杂的学习。因此,许多人试图利用各种相互连接的网络,来模拟自然学习以用于众多人工智能应用程序。以 AI 为目的开发的一些最初的网络,在形式上是纯粹的数学形式。这些数学网络背后的概念,称为人工神经网络(ANN),最初由 McCulloch 和 Pitts 引入,后来由 Rosenblatt 发展成熟。

ANN 的数学公式可以使用相互连接的线来绘制,如图 1A 中的蓝色所示,表示标量值,称为权重,乘以输入数字,这些输入数字被输入多层激活函数,称为神经元,最终产生输出值。如果为 ANN 提供了一组已知的输入和输出值,则可以通过调整其权重来训练网络,以便它准确地预测未知的输出值,从而产生任何所需的输入值。

Hornik 团队证明了 ANN 真正的 AI 潜力,通过证明,只要有足够多的神经元和层,ANN 可以通过准确地将任意数量的输入映射到任意数量的输出来学习建模几乎任何东西。然而,事实证明,使用传统数字计算机调整大型人工神经网络的权重,会消耗大量的时间和能源。

005c0e88f8836dbc916783a909673a84.png

图 1:MNN 简介以及它们如何学习机械行为。(来源:论文)

因此,进一步受到生物大脑物理性质的启发,科学家们开始开发物理网络,以更快地调整权重(即学习),并且由于其模拟性质而具有更高的效率。这些物理网络中的大多数可以分类为电网络或光网络。

尽管一些物理神经网络使用机械结构的振动来提高学习的速度和效率,但目前还没有纯机械的。机器人学家已经学会利用机械体的动力学作为计算资源,通过仅限制要调整的最后一层的权重来更有效地训练数学人工神经网络。这种称为形态计算的方法是水库计算概念的机械版本,其中用于简化数学计算的水库是机器人本身的结构。弹簧和点质量网络、张紧电缆和刚体以及软体已被用于演示这种方法。

之前 Hermans 团队提出了迄今为止最机械化的神经网络实例化。该网络由一个振动板组成,该振动板由声波激发作为输入和输出。不是通过调整板本身的机械特性(即它的刚度、阻尼或质量特性)来调整网络的权重,而是通过电产生干扰声波的掩蔽信号来训练网络。Wright 团队最近扩展了这一概念,使用多层振动板来实现深度物理神经网络。

在最新的工作中,加州大学的 Ryan H. Lee 团队引入了一种不同的物理网络,称为机械神经网络 (MNN)。MNN 是互连的可调谐梁的格子,如图 1B 中的蓝色所示,在节点处连接,这些节点由力或位移输入和输出驱动。互连梁的刚度值被调整为网络权重以训练晶格,使其可以学习所需的机械行为(例如,形状变形、声波传播和机械计算)和体积特性(例如,泊松比、剪切和杨氏模量以及密度)。

所以,这项工作相当于引入了一类建筑材料(也称为机械超材料),这些材料是由于长时间暴露于意外的环境负载条件下而学习的。尽管其他人提出了可以执行特定机械计算的声学超材料,但这些材料不是神经网络,因此无法学习。

之前 Hughes 团队提出了一种声学超材料,其行为类似于经过训练的神经网络,但所提议设计的制造版本无法学习新行为,因为在设计过程中通过使用模拟调整振动板内的质量来进行训练。尽管其他机械概念也已被提出并仅使用模拟进行演示,但 Ryan H. Lee 团队的 MNN 概念是通过实验进行的物理演示。该概念还可以扩展到复杂的三维(3D)晶格,它可以占据任意形状的体积,并满足实际材料应用的所需夹具要求。

另外,由于 MNN 本质上具有许多层节点,类似于 ANN 中的神经元,因此 MNN 表现为可以同时学习许多复杂行为的深度神经网络。如果 MNN 损坏、被切割以占据替代体积或以不同方式固定,那么它可以重新学习以前掌握的行为并根据需要在不断变化的环境条件下获得新的行为。

一个应用程序可能包括 MNN 飞机机翼(图 1C),该机翼学习根据需要改变其机翼形状以响应某些风载荷情况,从而使飞机在积累飞行经验时实现更高的效率和机动性。这项工作展示了 MNN 使用两种不同算法学习两种不同形状变形行为的能力。进行了实验和模拟研究,以确定晶格尺寸、包装配置、算法类型、行为数和线性与非线性刚度可调性对 MNN 学习的影响。

cb8316d0a55543ab0450d7ecd2f8a4e9.png

图 2:一个 MNN。(来源:论文)

引入 MNN 作为学习行为的架构材料的概念,研究人员使用两种优化算法 GA 和 PPS 进行了实验证明(图 3,B 和 C)。尽管 GA 被证明比 PPS 慢 41 倍以上(即 GA 需要 111.13 小时,而 PPS 需要 2.68 小时),但图 2 的 MNN 使用 GA 学习其行为的准确度提高了 10.5 倍(即,GA 的 MSE 为 0.006 mm^2,而 PPS 为 0.063 mm^2)。

ed992f8d26e0bfc2537c49edbb037387.png

图 3:实验研究结果。(来源:论文)

还进行了一项实验研究,以比较由可调谐光束组成的 MNN 的学习能力,这些光束被控制以表现出线性与非线性刚度。图 3 表明具有线性刚度梁的 MNN 比具有非线性刚度梁的 MNN 的学习精度更高(即,最低线性和非线性 MSE 分别为 0.056 和 0.093 mm^2)。

83c862a803f3ec338d4de12254e90c86.png

图 4:模拟研究结果。(来源:论文)

研究人员还创建了一个计算工具来模拟晶格大小、行为数和包装配置对 MNN 学习的影响。研究表明,MNN 的层数越多,同时学习的随机行为越少,它可以学习的越准确(即,它的最终 MSE 可以变得越低)。实验表明,只要 MNN 是三层或更多层,它就有足够的可调谐光束来准确地学习两种形状变形行为,而不管层数和输出节点的数量如何。

尽管具有较少输出节点的 MNN 具有较少的可调谐光束可供学习,但它在学习期间对光束的力输入和位移输出要求也较少。因此,输出节点的数量在很大程度上是无关紧要的。另外,在相同数量的层数和输出节点的情况下,三角形格子可以比方形格子更准确地学习,因为与方形格子相比,更多可调谐光束构成了三角形格子。此外,三角形格子的光束可以更有效地在所有方向上传播位移,而不是像方形格子那样主要沿着正交方向传播。

该项目的首席研究员 Jonathan B. Hopkins 说,「这种人工智能材料可以学习在增加暴露于环境条件时,表现出所需的行为和特性。」因此,这类材料可以用于抗震建筑和航空等工程。

当然,还可以尽情畅想,未来人工智能材料用途的可能性包括将 MNN 注入一种战术装甲来处理冲击波。这增加了可以偏转炮弹力量的战术装备的可能性。这是一个科幻场景,但它与将来抵抗地震的建筑材料也许是一个原理。

论文链接:https://www.science.org/doi/10.1126/scirobotics.abq7278

相关报道:https://dot.la/mnn-ai-ucla-2658483265.html?utm_campaign=post-teaser&utm_content=wie41s3a

人工智能 × [ 生物 神经科学 数学 物理 材料 ]

「ScienceAI」关注人工智能与其他前沿技术及基础科学的交叉研究与融合发展

欢迎注标星,并点击右下角点赞在看

点击读原文,加入专业从业者社区,以获得更多交流合作机会及服务。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/481481.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

自然语言处理的未来之路(周明老师,CCF-GRIR,笔记)

文章目录1.什么叫自然语言处理1.1 困难1.2历史1.3 智能1.4 经典nlp任务的进展02.技术体系2.1 词2.2 句子03 未来发展3.1 资源丰富的任务---中英翻译3.2 资源少的任务3.3 多轮问题--多轮对话4 未来之路自然语言:规则—>统计—>神经网络现在:黄金时代…

从英国首位印裔首相,看印度IC产业

来源:芯师爷当地时间10月24日,英国前财政大臣苏纳克在保守党党首竞选中胜出,将成为英国新一任首相。这也意味着他将成为英国历史上第一位印度裔首相。图源:环球网一时间,关于“首位印度裔首相,苏纳克成功逆…

CASREL:A Novel Cascade Binary Tagging Framework for Relational Triple Extraction(关系抽取,ACL2020,重叠关系)

文章目录1.介绍2.相关工作3.The CASREL Framework3.1 Bert3.2 cascade decoder4.实验5.结果参考1.介绍 做重叠关系的少 重叠关系: Zeng et al. (2018) :seq2seq强化学习改善提取顺序Fu et al. (2019):(GraphRel)GCNs将文本建模为关系图 以前…

机器学习数学本质的理解

来源:计算机视觉与机器学习近日,国际数学家大会丨鄂维南院士作一小时大会报告:从数学角度,理解机器学习的“黑魔法”,并应用于更广泛的科学问题。鄂维南院士在2022年的国际数学家大会上作一小时大会报告(plenary talk)…

Exploiting the Syntax-Model Consistency for Neural Relation Extraction(关系抽取,语法模型,跨领域关系抽取

文章目录1.Introductiony1.1 神经网络的关系抽取1.2使用依赖树的关系抽取1.2.2 依赖树的一般树1.3 本文做法2. 相关工作2.1核方法2.2 深度学习方法2.2.1 CNN2.2.2 RNN2.2.3 transformer2.2.4 依赖树3.模型3.1CEON-LSTM3.1.1 LSTM3.1.2ON-LSTM3.1.2.1 公式3.1.2.2the master gat…

从500亿缩水到167亿!自动驾驶芯片第一股“流血上市”

来源:数据观综合编辑:蒲蒲美股年内最后一次大规模IPO,MobilEye首日大涨近40%。美国时间10月26日,英特尔旗下自动驾驶子公司 Mobileye 正式登陆纳斯达克,股票代码为“MBLY”,首日上涨37.95%,报收…

[ACL2020]Generalizing Natural Language Analysis through Span-relation Representations

文章目录1 介绍2 span-relation representations2.1未涉及句子级任务3.span-relation model3.1 span representation3.2 span and relation label prediction3.3 应用到不同任务3.5 多任务学习MTL4 GLAD Benchmark基准 and Results4.1 实验4.2 证明通用模型有效4.3 MTL4.3.2 任…

为什么生成式AI这么火?OpenAI刚刚被曝估值已接近200亿美金

“生成式 AI 提醒我们,很难做出有关于人工智能的预测。十年前,传统观点认为:人工智能首先会影响体力劳动;然后,是认知劳动;然后,也许有一天它可以做创造性工作。现在看起来,它会以相…

报告预告:北斗网格码国家标准与城市大脑网格底座探讨

来源:中国指挥与控制学会中国指挥与控制学会“百名专家、百场讲座”第十七讲——城市大脑系列学术报告(第八期)主办单位:中国指挥与控制学会承办单位:中国指挥与控制学会城市大脑专业委员会远望智库报告人:…

{ACL2020}In Layman’s Terms: Semi-Open Relation Extraction from Scientific Texts(关系抽取,半开放关系抽取)

半开放关系抽取 用FOBIE训练一个narrow IE训练一个OpenIE用narrowIE矫正OpenIE 1.Introduction 标注困难、 跨领域标注更难 TRADE-OFF relations 随着干燥度的增加,木质部的安全性增加和效率降低的广泛模式是明显的,有一些证据表明在针叶树种或个体之…

马斯克成功收购推特,开除CEO等多名高管,还派特斯拉工程师进驻总部审查代码...

来源:AI前线作者:刘燕这场连环反转“大戏”,终于落幕。靴子终于落地10 月 28 日,据 《纽约时报》、CNBC 、《 华尔街日报》、《华盛顿邮报》 等多家外媒报道,马斯克收购推特的交易已经完成。这笔 440 亿美元的收购案终…

【ACL2020】Reasoning with Latent Structure Refinement for Document-Level Relation Extraction

1. 问题 句间关系 很多约等于文档级关系抽取 文档级关系抽取 句子间关系多 生物医药领域尤其多 需求/困难 整合同一文档不同句子间的信息处理句间实体复杂的交互 2.相关工作 文档级别关系抽取 结论: 实体mention之间的交互促进推理过程(文档级关系抽…

孤独的宇宙中,人类是个例外吗?

© Movie Content Plus来源:人工智能学家利维坦按:爱因斯坦曾说,“宇宙的永恒之谜在于其可理解性,宇宙能被理解是个奇迹。”不过,就可理解性(comprehensibility)来说,该如何定义…

红杉资本谈生成式AI:预计AI的杀手级应用将出现,比赛正在进行

来源:硅发布13年前,我采访Wolfram|Alpha的创始人、美国计算机科学家史蒂芬.沃尔弗拉姆时,大吃一惊。当时Wolfram|Alpha刚推出,使命是:让每一个人都可以在搜索引擎里搜出计算机计算的结果。比如说,输入"…

Transformer and set Trasformer

1.Transformer multihead attention block:MAB(X,Y)LayerNorm(HrFF(H))HLayerNorm(Xmultihead(X,Y,Y;ω)MAB(X,Y)LayerNorm(HrFF(H))\\ HLayerNorm(Xmultihead(X,Y,Y;\omega)MAB(X,Y)LayerNorm(HrFF(H))HLayerNorm(Xmultihead(X,Y,Y;ω) * Attention:Att(Q,K,Vl;ω)ω(QKT)VAtt…

「图神经网络复杂图挖掘」 的研究进展

来源:专知图神经网络对非欧式空间数据建立了深度学习框架,相比传统网络表示学习模型,它对图结构能够实施更加深层的信息聚合操作.近年来,图神经网络完成了向复杂图结构的迁移,诞生了一系列基于复杂图的图神经网络模型. 然而,现有综述文章缺乏对复杂图神经网络全面、…

知识复习:nlp算法面试汇总

文章目录2.相似度3.正则化3.1 L13.2 过拟合和欠拟合3.2.1 dropout3.3 欠拟合4. 激活函数4.1 sigmoid5.Bert5.1 Bert原版5.1.2 bert的训练5.2改进5.2.1缺点改进5.2.2任务改进5.3 参数量5.3 transformer5.3.1 多头注意力机制6.搜索6.1pagerank6.2 文本匹配7.神经网络基础7.1Norm7…

光子深度学习:编码到光波上的机器学习模型的组件

编辑 | 萝卜皮由于功率、处理和内存的限制,高级机器学习模型目前无法在智能传感器和无人机等边缘设备上运行。麻省理工学院的研究人员介绍了一种基于跨网络的离域模拟处理的机器学习推理方法。在这种被称为 Netcast 的方法中,基于云的「智能收发器」将重…

【实体对齐·综述】A Benchmarking Study of Embedding-based Entity Alignment for Knowledge Graphs

文章目录模板的简述简述1.Introduction2. preliminatries2.1 literature review2.1.1 knowledge graph embedding2.1.2 Conventional Entity Alignment2.1.3 embedding-based entity alignment2.2 Categorization of Techniques2.2.1 Embedding Module2.2.1.1 关系嵌入2.2.1.2 …

深度学习优化背后包含哪些数学知识?

来源:图灵人工智能深度学习中的优化是一项极度复杂的任务,本文是一份基础指南,旨在从数学的角度深入解读优化器。深度学习中的优化是一项极度复杂的任务,本文是一份基础指南,旨在从数学的角度深入解读优化器。一般而言…