大模型加速学科升级,飞桨赋能北邮“X+大模型”特色小学期

在人工智能时代,设计师与产品经理比以往更加需要关注一个事实:那就是如何利用人工智能和数据分析技术,打造让用户心动的信息交互产品和用户体验,释放人-机协同共创的巨大潜能,是决定设计产能和竞争力的关键。

图片

在产业的巨变之下,北京邮电大学侯文军教授联合百度飞桨团队,共同设计了《从情节到交互:UX+AI,打造多模态信息交互产品》特色工作坊,在这个为期一周的工作坊中,在飞桨Jungle老师团队的带领下,同学们通过学习多模态数据分析与大模型技术,以影视片为多模态信息源,逐步从图像、声音和文本中开展数据驱动的设计分析,最终将电影的多模态信息转化为引人入胜的多通道交互产品,产出真实项目。

课程培养目标

多模态人工智能技术理解与应用能力

了解多模态人工智能技术的原理、算法和应用,掌握如何利用这些AI技术来分析电影中的文本、图像和声音等多模态信息,并结合飞桨和大模型工具,转化为交互式应用的设计素材与流程。

数据分析与创新思维

学会使用多样化的数据分析工具和方法,从电影数据中提取有价值的信息和洞见。培养创新思维和以用户为中心的设计理念,发掘电影的被动式观赏与主动式交互应用之间的结合点,从电影情节中,策划产品的独特功能价值和交互流程。

交互设计能力

利用多模态的设计能力,在视觉、听觉和触觉等方面,设计直观且吸引人的多感官界面,将电影元素与界面设计相结合,创造出令人印象深刻的交互式应用设计,提供良好用户体验,有效和舒适地传达信息和故事。

团队协作与项目管理能力

与其他参与者组成团队,共同合作开发一个电影交互式APP原型。学会有效的团队协作,包括任务分配、沟通和协调。获得项目管理的实践经验,学会规划、执行和监控项目进展。

部分课程内容

  • 小学期主题及实践任务解析
  • 人工智能技术现状、多模态人工智能技术与设计的结合
  • 多模态与智能交互设计融合系列课程
  • 项目课题:基于电影多模态信息的多通道交互产品设计

部分项目成果

为期5天的工作坊,时间十分紧张。在这么短的时间内,要求同学们不仅要学习和消化全部的课程内容,还需要高质量完成课题项目——这对他们的学习力、创造力,特别是爆发力,都提出了巨大的考验。工作坊的57名大三同学,均来自享誉全国的北邮智能交互设计专业,该专业依托北京邮电大学的信息科技优势,立足“新工科”培养理念,培养“人工智能+交互设计”的复合型精英人才。57名同学,通过相互组队,最终产出了25个内容丰满的项目。

项目示例一

杨闪、孙沛然和车皓远同学,选取电影《爱乐之城》开展多模态信息挖掘与产品设计。他们通过 K-Means 聚类方法,分析和提取了象征不同季节和情感阶段的主题色,以及代表不同情绪风格的音效,将其作为交互产品的设计素材。

图片

图片

在影片中,男女主角载歌载舞,洋溢着活力与优雅,此时此刻,三位同学提出了一个问题:对不会跳舞的人,他们如何能享受歌舞所带来的快乐?借助 PP-TinyPose,产品可以将特定的用户照片,转化为电影中经典舞蹈的视频进行复刻,让用户也能像电影中的角色,载歌载舞!

图片

项目示例二

朱芃宇、范星兰和程力昊同学,探索的电影是《天使爱美丽》。他们基于故事情节、画面和声音等多模态信息,打造了全新的照片社交产品——Moment。

图片

该产品旨在驱动身在不同时空的用户,为彼此拍摄一张将实体明信片与周围环境进行合影的照片,使用户感到明信片与周围风景,都是专门为他们而拍摄的。以此通过强调该照片的独特性和定制性,让用户在收到照片时感受到被特别重视和关注,并从此与陌生人建立一种美妙的时空关联。

图片

借助文心跨模态大模型 ERNIE-ViLG 的参考图模式,用户照片可以被产品进行风格化,这样既避免了个人信息的泄露,又得到了更多的艺术可能性;在社交网络数据提取及用户匹配方面,团队选择 ERNIE-UIE 模型,能更精准地提取和匹配地理位置、机构、建筑等信息,辅助用户找到“远方的朋友”;在明信片内容辅助生产方面,产品则是利用飞桨版 SAM,从摄影照片得到语义内容,并作为 ERNIE-BOT 的文本提示词,从而帮助用户更快地产出明信片设计与文字稿。

图片

相关链接

  • “分割一切”大模型SAM、超轻量PP-MobileSeg、工业质检工具、全景分割方案,PaddleSeg全新版本等你来体验!
  • 通用信息抽取技术UIE发布!

项目示例三

侯家祺、徐瑞宁和秦一硕同学,选取的电影是《佛罗里达乐园》。通过图像与音频聚类,提取主题色和具有代表性的音效,而这些梦幻的色调和热闹的声音,准确反映了孩子们视听世界的特征。

图片

图片

三位同学的产品定位,则是通过 AR 交互式虚拟恶作剧,来帮助用户进入到《弗罗里达乐园》的世界,以第一视角体验各类恶作剧,获得解压。

图片

这款多模态 AR 实景交互 AR 游戏,具有极强的电影内容关联性,借助 PaddleSeg 的能力,许多现实元素能够被自动分离和提取,并融入到剧情,在用户与其交互过程中,产生更深层次的剧情体验。

图片

项目示例四

徐茗和陳珮雯同学,则是基于电影《浪矢解忧杂货店》多模态信息,打造了一款现实版 AI 浪矢爷爷。他们将电影海报中的“杂货店”,通过 ERINE-ViLG 进行了“翻新”;并提取了浪矢爷爷的回信文本,作为小样本数据集,在 AI Studio 大模型社区打造了相同“话风”、同样能够进行回信的“AI浪矢爷爷”。

图片

图片

项目示例五

杨若望、杜尧和刘先胜同学,从电影《阿凡达》中,提取了“冥想”的设计理念和独特的色彩模式。利用文心跨模态大模型 ERNIE-ViLG ,团队的三位男生,通过简单的 prompt,就能为自己生成特定主题且具有一定连续性的系列设计素材,成为自己产品中的关键元素加速了产品的创意表达。

图片

由于篇幅有限,还有很多同样优秀精彩的团队项目没有介绍,相信在未来,我们将有更多的机会和场合进行分享。

图片

北京邮电大学侯文军教授表示,大模型正在真真切切地驱动企业与产品的代际变革,并在实际落地的过程中,产生真实的价值。大模型+设计,将带来企业与产品变革的全新势能,这次校企融合的实践课程,让同学们开展前沿科技的应用探索,产生丰硕的成果,大家都获益匪浅。当前面向新一轮产业变革,更多的任何学科和产业,都将在大模型技术的推动下,迎来自己的“iPhone”时刻。

期待你的加入! 刚才的项目,和“创意”很相关。说起“创意”,这里,我们要明显地做一个广告了:欢迎创意无限的你,带着梦想与技术,参加中国高校计算机大赛人工智能创意赛!

报名链接
https://aistudio.baidu.com/aistudio/competition/detail/1026/0/introduction

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/363.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【SpringBoot】84、SpringBoot中MVC处理异常的多种方式

在 SpringBoot 中我们可以使用注解 @ControllerAdvice 和 @RestControllerAdvice 来全局处理异常,这两个注解只多了一个注解 @ResponseBody,将方法的返回值,以特定的格式写入到 response 的 body ,进而将数据返回给客户端,如果是字符串直接输出字符串信息,如果是对象将会…

智能合约 -- 安全考量

相关概念 就是我们写代码是考虑这种涉及到合约安全的问题:下面这个方面写合约是重点考虑。 创建消息发送以太币: 1.要创建消息发送以太币,您需要构建一个有效的交易,并将其发送到以太坊网络中。 2.交易被发送到以太坊网络后,会经…

RabbitMQ ---- 消息队列

RabbitMQ ---- 消息队列 1. MQ 的相关概念1.1 什么是 MQ1.2 为什么要用 MQ1.3 MQ 的分类1.4 MQ 的选择 2. RabbitMQ2.1 RabbitMQ 的概念2.2 四大核心概念2.3 RabbitMQ 核心部分2.4 各个名词介绍2.5 安装 1. MQ 的相关概念 1.1 什么是 MQ MQ(message queue),从字面…

爬虫之Scrapy

一 介绍 Scrapy一个开源和协作的框架,其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的,使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛,可用于如数据挖掘、监测和自动化测试等领域&#x…

什么是Docker

容器技术和虚拟机 虚拟机 和一个单纯的应用程序相比,操作系统是一个很重的程序,刚装好的系统还什么都没有部署,单纯的操作系统其磁盘占用至少几十G起步,内存要几个G起步。 在这台机器上开启三个虚拟机,每个虚拟机上…

CentOS 7 安装 Nginx

前言 最近,在公司经常会进行项目的部署,但是服务器环境都是导师已经搭建好了的,我就是将项目文件放到特定目录。于是,周末在家就进行了 Nginx 的安装学习。之前,在 Windows 上使用过 Nginx,但是在 Linux 环…

web学习--Cookie与Session会话技术

总结:可以考虑将登陆信息等重要信息存放为session,不重要的信息可以放在cookie中。 Cookie 1.概念:客户端会话技术,将数据保存在客户端 使用步骤: 1,创建Cookie对象,绑定数据 2.发送Cookie对象…

【微信小程序】使用 wx.request 方法进行异步网络请求

在微信小程序中,你可以使用 wx.request 方法进行异步网络请求,并将获取到的列表数据渲染到 UI 上。 首先,在页面的 data 中定义一个数组变量,用于存储获取到的列表数据,例如: Page({data: {listData: [] …

PSI算法经典论文算法概述

文章目录 什么是隐私求交PSIPSI协议分类PSI算法的分类基于哈希函数的PSI算法基于不经意传输(OT)的 PSI算法基于GC的PSI算法基于公钥加密的PSI算法基于DH的PSI算法基于RSA盲签名的PSI算法基于同态加密的PSI算法 基于差分隐私的PSI算法 总结参考文献 什么是…

为了实现上网自由,我做了一个多功能串口服务器

项目作者:小华的物联网嵌入式之旅 介绍:从事电气自动化行业,多次获得物联网设计竞赛,爱好嵌入式设计开发,物联网开发。 设计方案思路的由来,是因为我们现在的开发板基本需要通过串口与WIFI模组或以太网模…

[Linux] 最基础简单的线程池 及其 单例模式的实现

本篇文章主要用到线程相关内容, 下面是博主关于线程相关内容的文章: [Linux] 线程同步分析:什么是条件变量?生产者消费者模型是什么?POSIX信号量怎么用?阻塞队列和环形队列模拟生产者消费者模型 [Linux] 线程互斥分析: 多线程的问…

1千w移动设备以及设备模型分各种方式存储到redis实际占用内存大小

1千w移动设备数据以及设备分存储到redis (以安卓为例:IDFA_MD5、OAID_MD5、ANDROID_ID_MD5 总设备码MD5约3000w)实际占用内存 string key value值存储大小(存20个不同来源模型分) 格式1 5.17G string key 为两种md5…

ES映射中字段名大小写问题

在Elasticsearch中,字段名(也就是映射中定义的)是区分大小写的。这意味着,如果你在映射中定义了一个字段名为myField,那么你必须在查询和索引文档时精确地使用这个大小写。你不能使用myfield或MYFIELD去查询或索引&…

华为、阿里巴巴、字节跳动 100+ Python 面试问题总结(一)

系列文章目录 个人简介:机电专业在读研究生,CSDN内容合伙人,博主个人首页 Python面试专栏:《Python面试》此专栏面向准备面试的2024届毕业生。欢迎阅读,一起进步!🌟🌟🌟 …

是否有商品使用过改运费模板

目录 1 添加修改运费模板 2 删除运费模板 3 是否有商品使用过改运费模板 /// <summary> 添加修改运费模板 /// </summary>

华为发布大模型时代AI存储新品

7月14日&#xff0c;华为发布大模型时代AI存储新品&#xff0c;为基础模型训练、行业模型训练&#xff0c;细分场景模型训练推理提供存储最优解&#xff0c;释放AI新动能。 企业在开发及实施大模型应用过程中&#xff0c;面临四大挑战&#xff1a; 首先&#xff0c;数据准备时…

剑指offer刷题笔记--Num41-50

1--数据流中的中位数&#xff08;41&#xff09; 主要思路&#xff1a; 维护两个优先队列&#xff0c;Q1大数优先&#xff0c;存储比中位数小的数&#xff1b;Q2小数优先&#xff0c;存储比中位数大的数&#xff1b; 当存储的数为偶数时&#xff0c;Q1.size() Q2.size(), 中位…

解决github无法拉取submodule子模块的问题

引言 当使用git clone --recursive url 拉取一个配置了子模块的仓库后&#xff0c;会卡住。 同时在使用git clone 拉去https的url时&#xff0c;同样可能会出现一直卡在cloning int reposity...本文提供一个简单的脚本来解决该问题。 前置准备 需要配置好git的相关配置&…

快速配置 Rust 开发环境并编写一个小应用

安装: curl --proto https --tlsv1.2 -sSf https://sh.rustup.rs | sh 更新: Rust 的升级非常频繁. 如果安装 Rustup 后已有一段时间,那么很可能 Rust 版本已经过时, 运行 rustup update 获取最新版本的 Rust rustc&#xff1a;编译Rust程序 rustc只适合简单的Rust程序&#xf…

qt和vue的交互

1、首先在vue项目中引入qwebchannel /******************************************************************************** Copyright (C) 2016 The Qt Company Ltd.** Copyright (C) 2016 Klarlvdalens Datakonsult AB, a KDAB Group company, infokdab.com, author Milian …