【Kolmogorov-Arnold网络 替代多层感知机MLPs】KAN: Kolmogorov-Arnold Networks

KAN: Kolmogorov-Arnold Networks

论文地址
代码地址
知乎上的讨论(看一下评论区更正)

请添加图片描述
请添加图片描述

Abstract

Inspired by the Kolmogorov-Arnold representation theorem, we propose Kolmogorov-Arnold Networks (KANs) as promising alternatives to Multi-Layer Perceptrons (MLPs). While MLPs have fixed activation functions on nodes (“neurons”), KANs have learnable activation functions on edges (“weights”). KANs have no linear weights at all – every weight parameter is replaced by a univariate function parametrized as a spline. We show that this seemingly simple change makes KANs outperform MLPs in terms of accuracy and interpretability. For accuracy, much smaller KANs can achieve comparable or better accuracy than much larger MLPs in data fitting and PDE solving. Theoretically and empirically, KANs possess faster neural scaling laws than MLPs. For interpretability, KANs can be intuitively visualized and can easily interact with human users. Through two examples in mathematics and physics, KANs are shown to be useful collaborators helping scientists (re)discover mathematical and physical laws. In summary, KANs are promising alternatives for MLPs, opening opportunities for further improving today’s deep learning models which rely heavily on MLPs.

受Kolmogorov-Arnold 表示定理的启发,我们提出了Kolmogorov-Arnold网络(KANs)作为多层感知器(MLPs)的替代品。

MLP 在节点(“神经元”)上有固定的激活函数,而 KAN 在边缘(“权重”)上有可学习的激活函数。

KAN 完全没有线性权重–每个权重参数都由参数化为样条曲线的单变量函数代替。

我们的研究表明,这一看似简单的改变使得 KAN 在准确性和可解释性方面都优于 MLP。

  • 就准确性而言,在数据拟合和 PDE 求解方面,更小的 KAN 可以达到与更大的 MLP 相当或更高的准确性。从理论和经验上讲,KANs 比 MLPs 拥有更快的神经缩放规律。
  • 在可解释性方面,KANs 可以直观地可视化,并很容易与人类用户进行交互。

通过数学和物理学中的两个例子,KANs 被证明是帮助科学家(重新)发现数学和物理定律的有用合作者。总之,KANs 是 MLPs 有前途的替代品,为进一步改进当今严重依赖 MLPs 的深度学习模型提供了机会。

Accuracy

KANs have faster scaling than MLPs. KANs have better accuracy than MLPs with fewer parameters.
KAN 的扩展速度比 MLP 快。KAN 在参数较少的情况下比 MLP 更准确。

Example 1: fitting symbolic formulas

请添加图片描述

Example 2: fitting special functions

请添加图片描述

Example 3: PDE solving

请添加图片描述

Example 4: avoid catastrophic forgetting

请添加图片描述

Interpretability

KANs can be intuitively visualized. KANs offer interpretability and interactivity that MLPs cannot provide. We can use KANs to potentially discover new scientific laws.
KAN 可以直观地可视化。KANs 具有 MLP 无法提供的可解释性和互动性。我们可以利用 KAN 发现新的科学规律。

Example 1: Symbolic formulas

请添加图片描述

Example 2: Discovering mathematical laws of knots

请添加图片描述

Example 3: Discovering physical laws of Anderson localization

请添加图片描述

Example 4: Training of a three-layer KAN

请添加图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/8658.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【OceanBase 系列】—— OceanBase v4.3 特性解读:查询性能提升之利器列存储引擎

原文链接:OceanBase 社区 对于分析类查询,列存可以极大地提升查询性能,也是 OceanBase 做好 HTAP 和 OLAP 的一项不可缺少的特性。本文介绍 OceanBase 列存的实现特色。 OceanBase从诞生起就一直坚持LSM-Tree架构,不断打磨功能支…

2020 年国考【计算机专业】真题及答案

真题及答案 第一部分数学基础课程 一、(共 5 分)用逻辑符号表达下列语句(论域为包含一切事物的合集) (2 分)确诊者并不都有症状(注:需给出两种形式表达, 一种用存在量词, 一种用全称…

JavaScript 循环方法详解

在编程中,循环是一种重复执行代码块的机制,直到满足某个条件为止。JavaScript 提供了多种循环结构来帮助我们实现这一功能。以下是 JavaScript 中常用的几种循环方法的详细解释。 1. for 循环 for 循环是 JavaScript 中最常用的循环结构之一。它使用一…

python魔法方法是什么

魔法方法是python内置方法,不需要主动调用,存在的目的是为了给python的解释器进行调用,几乎每个魔法方法都有一个对应的内置函数,或者运算符,当我们对这个对象使用这些函数或者运算符时就会调用类中的对应魔法方法&…

leetcode746.使用最小花费爬楼梯(动态规划)

问题描述: 给你一个整数数组 cost ,其中 cost[i] 是从楼梯第 i 个台阶向上爬需要支付的费用。一旦你支付此费用,即可选择向上爬一个或者两个台阶。 你可以选择从下标为 0 或下标为 1 的台阶开始爬楼梯。 请你计算并返回达到楼梯顶部的最低…

ASP.NET Core SignalR 配置与集成测试究极指南

这篇文章也可以在我的博客中查看 前言 哥们最近都在埋头苦干,沉默是金,有一段时间没更新博客了。然而今儿SignalR集成测试实属是给我整破防了。虽说SignalR是.NET官方维护的实时通信库,已经开发了有十几年,甚至已经编入至了core…

MVC与MVVM架构模式

1、MVC MVC:Model-View-Controller,即模型-视图-控制器 MVC模式是一种非常经典的软件架构模式。从设计模式的角度来看,MVC模式是一种复合模式,它将多个设计模式结合在一种解决方案中,从而可以解决许多设计问题。 MV…

【3D目标检测】常见相关指标说明

一、mAP指标 mean Average Precision(平均精度均值),它是目标检测和信息检索等任务中的重要性能指标。mAP 通过综合考虑精度和召回率来衡量模型的总体性能。 1.1 精度(Precision) 表示检索到的目标中实际为正确目标…

Spring Task及订单状态定时处理

1:Spring Task概念: Spring Task 是Spring框架提供的任务调度工具,可以按照约定的时间自动执行某个代码逻辑 定时任务的理解 定时任务即系统在特定时间执行一段代码,它的场景应用非常广泛: 购买游戏的月卡会员后&a…

前端如何给特定的组件设置缓存并处理定位问题?

前端如何给某些组件设置缓存并处理定位? 最近有个需求就是a>b,b页面处理了些操作,返回a页面时, b页面若有操作则a页面需要刷新并定位到上次点击的位置,b若没有操作则无需刷新直接定位上次点击的位置 1.首先在store中存储缓存的组件 vuex代码: const cached {state: {ca…

Centos7网络处理name or service not known

1、编辑->虚拟网络编辑器 2、查看本机的ip 3、 /etc/sysconfig/network-scripts/ 查看文件夹下面的 ifcfg-eth33 后面的33可能不一样 vi /etc/resolv.conf 编辑文件添加以下DNS nameserver 114.114.114.114 4、设置本机的网络 5、ping www.baidu.com 先重启…

第50期|GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区,集成了生成预训练Transformer(GPT)、人工智能生成内容(AIGC)以及大语言模型(LLM)等安全领域应用的知识。在这里,您可以找…

js,JavaScript 类型化数组详解(2024-05-04)

1、JavaScript 类型化数组 在 Javascript 中,类型化数组是二进制数据的类似数组的缓冲区。 不存在名为 TypedArray 的 JavaScript 属性或对象,但属性和方法可以与类型化数组对象一起使用: const myArr new Int8Array(10); // 0,0,0,0,0,0…

全双工音频对讲模块-支持空中升级、多级无线中继

SA618F30是一款高集成的大功率全双工无线音频模块,发射功率高达32dBm。该音频模块简化接口,只需外接音频功放或麦克风即可作为一个小型对讲机,方便快捷嵌入到各类手持设备中。支持多级无线中继,支持OTA空中升级。 SA618F30配备1W…

Java快速入门系列-11(项目实战与最佳实践)

第十一章:项目实战与最佳实践 11.1 项目规划与需求分析项目规划需求分析实例代码 11.2 系统设计考虑实例代码 11.3 代码实现与重构实例代码 11.4 性能优化与监控实例代码 11.5 部署与持续集成/持续部署(CI/CD)实例代码 11.1 项目规划与需求分析 在进行任何软件开发…

06_G1调优配置

本章主要介绍,如果G1默认的一些配置无法满足你的需求,要如何进一步调优。 G1的一般建议 一般建议是使用G1并保持默认设置,如有需要,可以通过使用 -Xmx 来设置最大的Java堆大小,同时也可以通过 -XX:MaxGCPauseMillis来…

MySQL数据库失效:潜在场景、影响与应对策略

在当今数字化时代,数据库作为数据存储和管理的核心组件,其稳定性和可靠性直接影响着业务的连续性和用户体验。MySQL,作为最受欢迎的关系型数据库管理系统之一,广泛应用于互联网、金融、教育等多个行业。然而,即便是这样…

NTP 协议获取网络时间

从github 中找到的一份代码进行的修改 板卡是0区,手动加了8个时区 #include <iostream> #include <netdb.h> #include <netinet/in.h> #include <stdio.h> #include <stdlib.h> #include <string.h> #include <sys/socket.h> #inclu…

Hikyuu-PF-银行股轮动交易策略实现

今天&#xff0c;带来的是“如何使用 Hikyuu 中的投资组合来实现银行股轮动交易策略”。 这个策略的逻辑很简单&#xff1a;持续持有两支市净率最低银行股&#xff0c;然后每月换仓 定义回测周期与回测标的 同样&#xff0c;首先定义回测周期&#xff1a; # 定义回测日期 …

撰写一份详尽的数据治理实施方案

对于拥有15年经验的资深数据治理工程师而言,是一个复杂而细致的任务,应当涵盖策略规划、组织架构调整、技术选型、流程设计、合规性考量、监控与评估等多个维度。本文概述一个高层次的数据治理实施方案框架,并简要说明每个部分的关键内容。如需深入细节,您可以根据这个框架…