在去年的人工智能领域,大模型无疑是最炙手可热的技术话题。其强大的数据处理和深度学习能力,为众多领域带来了革命性的变革。而其中,讯飞星火表现尤为出色,成为了行业的翘楚,得到了大量的用户认可,其中:
-
讯飞星火纯用户2400万;
-
内容创作平台,讯飞智作(音视频创作),自815发布以来新增了21万会员用户,160万音视频内容;而在图文创作上,1024发布以来赋能企业用户生产百万内容。
-
半年来,大模型开发者生态积累了35万开发者数量,其中企业开发者数量为22万。
要知道获得这样成绩的讯飞星火,距离首次发布并不足一年。然后,讯飞并未止步,2024刚开年,讯飞星火就迎来重大升级,七大核心能力全面提升,其中:
-
讯飞星火V3.5整体接近GPT-4 Turbo;
-
数学、语言理解、语音交互能力超过GPT-4 Turbo;
-
代码达到GPT-4 Turbo 96%;
-
多模态达到GPT-4V 91%。
官方链接:https://xinghuo.xfyun.cn/?ch=ntm_oZCR5
快来和我一起体验一下吧!
讯飞星火3.5完整的发布会链接:
https://www.bilibili.com/video/BV1Lm41197qY/?spm_id_from=333.337.search-card.all.click
专业测评
来自:SuperCLUE-Math6中文数学多步推理测评基准
在SuperCLUE-Math6上,相比上一代讯飞星火V3.0,讯飞星火V3.5有43.05分的巨大提升;尤其在5步数学推理问题上表现不俗。
在SuperCLUE-Math6上,讯飞星火V3.5综合得分为80.44,被评为最高第五等级。
在SuperCLUE-Math6上,讯飞星火V3.5较GPT4略低3.42分,较GPT4-1106-Preview(GPT4-Turbo)低7.32分,超越GPT-4 Turbo还需继续努力。
详见:https://mp.weixin.qq.com/s/qbg-CTgLscPNUGkYa1KC1A
注册
点击链接:https://xinghuo.xfyun.cn/?ch=ntm_oZCR5
,即可打开页面,如下图:
下面,可以看到上面提到的七大能力和讯飞星火大模型的版本,支持的系统还是比较多的,既有Win客户端,也有移动端和小程序等等。满足不同人的需求!
在网页的右上角点击登录,即可进入登录页面,如下图
输入手机号和验证码就可以进入讯飞星火的主页面,上面红框是官方预制的一些功能,下面红框是一些插件。
注册完成,就可以开始体验了!
翻译功能
这个是我比较看重的功能,对于AI工程师来说,一款好的翻译工具至关重要,我们能接触到的资料基本上都是英文,如果能有一款工具将英文准确的翻译成中文,会大大提高阅读的效率。
输入:
We introduce Deformable Convolution v4 (DCNv4), a highly efficient and effective operator designed for a broad spectrum of vision applications. DCNv4 addresses the limitations of its predecessor, DCNv3, with two key enhancements: 1. removing softmax normalization in spatial aggregation to enhance its dynamic property and expressive power and 2. optimizing memory access to minimize redundant operations for speedup. These improvements result in a significantly faster convergence compared to DCNv3 and a substantial increase in processing speed, with DCNv4 achieving more than three times the forward speed. DCNv4 demonstrates exceptional performance across various tasks, including image classification, instance and semantic segmentation, and notably, image generation. When integrated into generative models like U-Net in the latent diffusion model, DCNv4 outperforms its baseline, underscoring its possibility to enhance generative models. In practical applications, replacing DCNv3 with DCNv4 in the InternImage model to create FlashInternImage results in up to 80% speed increase and further performance improvement without further modifications. The advancements in speed and efficiency of DCNv4, combined with its robust performance across diverse vision tasks, show its potential as a foundational building block for future vision models.
这是DCNv4的摘要部分,我们看看翻译的怎么样?
输出
我们介绍了可变形卷积V4(DCNV4),这是一种为广泛的视觉应用而设计的高效和有效的算子。DCNV4通过两个关键的增强来解决其前身DCNV3的局限性:1.去除空间聚集中的softmax规范化以增强其动态特性和表达能力;2.优化内存访问以最小化冗余操作以加速。与DCNV3相比,这些改进使收敛速度明显加快,处理速度大幅提高,DCNV4的前进速度提高了三倍以上。DCNV4在各种任务中表现出卓越的性能,包括图像分类、实例和语义分割,尤其是图像生成。当集成到生成模型(如潜在扩散模型中的U-Net)中时,DCNV4优于其基线,强调了其增强生成模型的可能性。在实际应用中,将DCNv3替换为InternImage模型中的DCNv4以创建FlashInternImage,无需进一步修改,即可获得高达80%的速度提升和进一步的性能提升。DCNV4在速度和效率方面的进步,加上其在各种视觉任务中的强大性能,显示了其作为未来视觉模型的基础构建模块的潜力。
又快又准,讯飞是做翻译起家的!这当然难不倒它了!!!
代码能力
代码加注释
看论文,跑代码是AI工程师一项想做的工作。github上很多代码没有注释,我们想深入理解代码的时候就会有很大的困难,有了大模型,这就简单了!试一下讯飞星火的代码注释能力。
代码如下:
class C2f(nn.Module):"""Faster Implementation of CSP Bottleneck with 2 convolutions."""def __init__(self, c1, c2, n=1, shortcut=False, g=1, e=0.5):"""Initialize CSP bottleneck layer with two convolutions with arguments ch_in, ch_out, number, shortcut, groups,expansion."""super().__init__()self.c = int(c2 * e) # hidden channelsself.cv1 = Conv(c1, 2 * self.c, 1, 1)self.cv2 = Conv((2 + n) * self.c, c2, 1) # optional act=FReLU(c2)self.m = nn.ModuleList(Bottleneck(self.c, self.c, shortcut, g, k=((3, 3), (3, 3)), e=1.0) for _ in range(n))def forward(self, x):"""Forward pass through C2f layer."""y = list(self.cv1(x).chunk(2, 1))y.extend(m(y[-1]) for m in self.m)return self.cv2(torch.cat(y, 1))def forward_split(self, x):"""Forward pass using split() instead of chunk()."""y = list(self.cv1(x).split((self.c, self.c), 1))y.extend(m(y[-1]) for m in self.m)return self.cv2(torch.cat(y, 1))
在讯飞星火里输入给每行代码都加上注释,有英文的注释,转为中文
,如下图:
class C2f(nn.Module):"""更快的CSP瓶颈层实现,具有两个卷积层。"""def __init__(self, c1, c2, n=1, shortcut=False, g=1, e=0.5):"""初始化CSP瓶颈层,具有两个卷积层,参数为输入通道数c1、输出通道数c2、瓶颈层数量n、是否使用shortcut连接、分组数g和扩展系数e。"""super().__init__()self.c = int(c2 * e) # 隐藏通道数self.cv1 = Conv(c1, 2 * self.c, 1, 1) # 第一个卷积层,输入通道数为c1,输出通道数为2倍的隐藏通道数self.cv2 = Conv((2 + n) * self.c, c2, 1) # 第二个卷积层,输入通道数为(2+n)倍的隐藏通道数,输出通道数为c2self.m = nn.ModuleList(Bottleneck(self.c, self.c, shortcut, g, k=((3, 3), (3, 3)), e=1.0) for _ in range(n)) # 瓶颈层列表,包含n个瓶颈层def forward(self, x):"""通过C2f层的前向传播。"""y = list(self.cv1(x).chunk(2, 1)) # 将第一个卷积层的输出分割成两部分y.extend(m(y[-1]) for m in self.m) # 将每个瓶颈层的输出添加到y列表中return self.cv2(torch.cat(y, 1)) # 将y列表中的张量拼接起来,并通过第二个卷积层进行前向传播def forward_split(self, x):"""使用split()函数代替chunk()函数的前向传播。"""y = list(self.cv1(x).split((self.c, self.c), 1)) # 使用split()函数将第一个卷积层的输出分割成两部分y.extend(m(y[-1]) for m in self.m) # 将每个瓶颈层的输出添加到y列表中return self.cv2(torch.cat(y, 1)) # 将y列表中的张量拼接起来,并通过第二个卷积层进行前向传播
这样的注释,你满意吗?反正我是很满意!!!
代码生成能力
大模型时代,代码生成是常用的功能,我们尝试用讯飞星火生成一些代码。
多线程代码生成案例
输入帮我写一个python的多线程代码,传入参数,给出代码解释
,生成结果如下:
好的,以下是一个简单的Python多线程代码示例,其中传入了参数,并给出了代码解释:
import threadingclass MyThread(threading.Thread):def __init__(self, arg1, arg2):super().__init__()self.arg1 = arg1self.arg2 = arg2def run(self):print("线程执行中...")print("参数1:", self.arg1)print("参数2:", self.arg2)# 创建两个线程对象,并传入参数
t1 = MyThread("hello", "world")
t2 = MyThread(123, 456)# 启动线程
t1.start()
t2.start()# 等待线程执行完毕
t1.join()
t2.join()print("所有线程执行完成")
在这个例子中,我们定义了一个名为MyThread
的自定义线程类,它继承自threading.Thread
。在__init__
方法中,我们调用了父类的构造函数,并传入了两个参数arg1
和arg2
。在run
方法中,我们打印出了这两个参数的值。
然后,我们创建了两个MyThread
对象,并分别传入了不同的参数。接着,我们调用了start
方法来启动这两个线程。最后,我们使用join
方法等待这两个线程执行完毕,并打印出“所有线程执行完成”的信息。
运行结果:
基本上没有问题,非常OK!!!
百钱白鸡算法
这个一个经典的算法,试试讯飞星火的表现如何?输入:python 实现百钱白鸡算法,算法描述,代码解释
,回答如下:
百钱白鸡算法是一个经典的数学问题,要求用100块钱买100只鸡,其中公鸡5块钱一只,母鸡3块钱一只,小鸡1块钱三只。要求列出所有可能的购买组合。
Python实现如下:
def buy_chicken():for x in range(0, 20): # 公鸡数量for y in range(0, 33): # 母鸡数量z = 100 - x - y # 小鸡数量if 5 * x + 3 * y + z / 3 == 100: # 判断是否满足条件print("公鸡:%d只,母鸡:%d只,小鸡:%d只" % (x, y, z))buy_chicken()
代码解释:
- 定义一个函数
buy_chicken
,用于计算购买组合。 - 使用两层循环遍历公鸡和母鸡的数量,小鸡的数量由总数量减去公鸡和母鸡的数量得到。
- 判断当前组合是否满足条件,即公鸡、母鸡和小鸡的价格之和是否等于100元。
- 如果满足条件,则输出当前的购买组合。
运行结果:
模型代码生成
我试试让讯飞星火生成pytorch模型,以resnet18为例,输入:python 把我写一个resnet18的代码,pytorch的
,结果如下:
import torch
import torch.nn as nnclass BasicBlock(nn.Module):expansion = 1def __init__(self, in_planes, planes, stride=1):super(BasicBlock, self).__init__()self.conv1 = nn.Conv2d(in_planes, planes, kernel_size=3, stride=stride, padding=1, bias=False)self.bn1 = nn.BatchNorm2d(planes)self.conv2 = nn.Conv2d(planes, planes, kernel_size=3, stride=1, padding=1, bias=False)self.bn2 = nn.BatchNorm2d(planes)self.shortcut = nn.Sequential()if stride != 1 or in_planes != self.expansion * planes:self.shortcut = nn.Sequential(nn.Conv2d(in_planes, self.expansion * planes, kernel_size=1, stride=stride, bias=False),nn.BatchNorm2d(self.expansion * planes))def forward(self, x):out = F.relu(self.bn1(self.conv1(x)))out = self.bn2(self.conv2(out))out += self.shortcut(x)out = F.relu(out)return outclass ResNet(nn.Module):def __init__(self, block, num_blocks, num_classes=10):super(ResNet, self).__init__()self.in_planes = 64self.conv1 = nn.Conv2d(3, 64, kernel_size=3, stride=1, padding=1, bias=False)self.bn1 = nn.BatchNorm2d(64)self.layer1 = self._make_layer(block, 64, num_blocks[0], stride=1)self.layer2 = self._make_layer(block, 128, num_blocks[1], stride=2)self.layer3 = self._make_layer(block, 256, num_blocks[2], stride=2)self.layer4 = self._make_layer(block, 512, num_blocks[3], stride=2)self.linear = nn.Linear(512 * block.expansion, num_classes)def _make_layer(self, block, planes, num_blocks, stride):strides = [stride] + [1] * (num_blocks - 1)layers = []for stride in strides:layers.append(block(self.in_planes, planes, stride))self.in_planes = planes * block.expansionreturn nn.Sequential(*layers)def forward(self, x):out = F.relu(self.bn1(self.conv1(x)))out = self.layer1(out)out = self.layer2(out)out = self.layer3(out)out = self.layer4(out)out = F.avg_pool2d(out, 4)out = out.view(out.size(0), -1)out = self.linear(out)return outdef ResNet18():return ResNet(BasicBlock, [2, 2, 2, 2])model = ResNet18()
print(model)
输出结果:
通过上面的例子,我觉得讯飞星火3.5的代码能力还是很强的!
PPT生成能力
写PPT是工作中最头疼的,懂的都懂!讯飞星火3.5在写PPT的功能上有着不错的表现,我们试试效果如何?
选择PPT插件,输入想要生成的内容,如下图:
我输入的内容:我最近有一个关于深度学习的演讲,主要内容有深度学习的原理,卷积的原理,已经深度模型的详解,比如AlexNet,VggNet,ResNet,ViT等模型,需要模型的结构和评测结果等信息
然后,点击发送就可以生成PPT,点击下图中的下载链接:
等待生成后,点击下载,如下图:
然后就看到了生成的PPT,有15页,如下图:
如果,对内容不满意,也可以点击右边的按钮,如下图红框所示,给文章润色。
对生成的PPT不满意,也可以更换其他的颜色和模板,将PPT拉到最后一页就可以看到,如下图:
有多种模板可供选择。
把PPT调整满意后,点击导出,
在浏览器就可以看到导出的PPT了。如下图:
后面的PPT编辑和模板更换功能是用到了讯飞智文,链接:https://zhiwen.xfyun.cn/。
具有以下几个特点:
- 文档一键生成;一句话主题、长文本快速生成Word、PPT文档,多种文稿类型供选择,更专业,更垂直。
- AI 撰写助手;支持多达十几种 AI 文本编辑操作,快速完善生成后内容,提升改写效率。
- 多语种文档生成;支持英、俄、日、韩等10种外语文本生成,多语 种文本互译,无缝衔接翻译功能。
- AI自动配图;根据文本内容,自动生成AI文生图提示词,只需要一次点击,即可生成多张AI图片供选择。
- 模板图示秒切换;随时可切换的内容排版及模板配色,文档内容排版 更灵活,更多样,省去模版图示优化时间。
使用讯飞智文大大提高了文档的编写效率,让我们将更多的时间放在自己专注的事情上!
公文写作能力
对于我们这些门外汉来说,写公文难于上青天,讯飞星火3.5的公文写作助手可以帮我们搞定!
在助手中心选择公文写作助手
,如下图:
写个会议纪要试试,效果如下:
会议纪要一、会议基本信息
1. 会议主题:[请填写具体会议主题]
2. 会议时间:[请填写具体日期]
3. 会议地点:[请填写具体地点]
4. 参会人员:[请列举参会人员姓名及职务]
5. 主持人:[请填写主持人姓名及职务]
6. 记录人:[请填写记录人姓名及职务]二、会议议程
1. 开场与导入a. 主持人致欢迎词b. 确认出席人员名单
2. 讨论议题a. [请列出第一个讨论议题]b. [请列出第二个讨论议题]c. [请列出后续讨论议题]
3. 总结与闭幕a. 各议题讨论结果汇总b. 制定后续行动计划c. 主持人致闭幕词三、会议内容及讨论
(在此部分,根据实际会议情况,详细记录每个议题的讨论内容、各方观点、达成的共识以及未解决的问题等。)1. 议题一讨论内容摘要:- [请填写具体内容]- [请填写具体内容]达成共识:- [请填写共识内容]遗留问题:- [请填写遗留问题]2. 议题二讨论内容摘要:- [请填写具体内容]- [请填写具体内容]达成共识:- [请填写共识内容]遗留问题:- [请填写遗留问题](以此类推,记录所有议题的讨论情况。)四、会议总结
本次会议在主持人的精心组织下,与会人员积极参与讨论,针对[请填写具体议题]等问题进行了深入交流。通过充分讨论,我们在多个关键问题上达成了一致意见,并就相关问题制定了初步的解决方案和后续行动计划。尽管在某些议题上仍存在分歧,但我们相信通过持续的沟通与合作,能够逐步解决这些问题。会议取得了预期的成果,为[请填写相关项目或工作]的顺利推进奠定了坚实的基础。五、后续行动计划
1. 对于已达成共识的议题,由[请填写责任人姓名及职务]负责制定详细的执行方案,并于[请填写具体日期]前提交至[请填写相关部门或人员]审批。
2. 对于尚未解决的问题,将组织专题小组进行深入研究,并在下一次会议上提出解决方案。
3. 定于[请填写具体日期]召开下一次会议,届时将对本次会议强调事项的执行情况进行回顾,并继续讨论未决议题。六、附录
1. 会议签到表
2. 会议决议文件
3. 后续行动计划草案七、签字确认
本会议纪要经与会人员审阅无误后,由主持人和记录人签字确认。主持人签字:________________ 日期:____年__月__日
记录人签字:________________ 日期:____年__月__日(注:以上模板仅供参考,具体内容需根据实际情况进行调整和完善。)
其他功能
其中,最突出的是语音交互能力,星火语音大模型支持,多语种语音识别、多语种语音合成和超拟人语音合成。实现了全语音交互,不是语音消息那样一条一条的,而是像打电话一样实时交互。这是讯飞星火3.5最大的亮点。语音大模型,可以通过讯飞开放平台官网申请API使用
还有星火开源大模型iFlytekSpark-13B,拥有130亿参数,在经过累计超过3万亿以上tokens海量高质量数据集上进行预训练,然后在精调的多元化对齐数据上进行微调得到。
iFlytekSpark-13B不仅具备通用任务处理能力如聊天、问答、文本提取和分类等,还具备数据分析和代码生成等生产力功能。我们特别在学习辅助、数学、推理等领域进行了深度优化,大幅提升模型的实用性和易用性。详细的评测结果见下面评测部分。
模型文件链接和技术文档:
昇思MindSpore地址:https://xihe.mindspore.cn/modelzoo/iflytek/introduce
启智社区地址:https://openi.pcl.ac.cn/iflytek/iFlytekSpark-13B
Gitee地址:https://gitee.com/iflytekopensource/iFlytekSpark-13B
同时,在大模型落地应用上,也取得不错的进展,以最典型的教育场景为例。
具体在教育场景上,此次讯飞星火智慧黑板有了一定升级。
科大讯飞董事长刘庆峰认为,作为改变人类未来生产生活方式的重大技术突破,优先应该为孩子赋能、为教育赋能。
老师一声上课,讯飞星火智慧黑板就开始工作。
不管是数学、化学,立体几何还是化学方程式,只需在黑板上画一下,就能识别成书面格式,并且支持编辑。
比如现场画个苯酚,结果它秒秒钟识别,并且推荐出视频科普课程。
还能使用虚拟人,辅助老师授课。
一节讲完,它还能自动存下来,课程实录、视频切片等内容都有,可以随时回顾重点。
除此之外,还有在保险、银行、能源、汽车、通信等方面的合作进展。
发布会现场,中国移动携手讯飞星火推出5G新通话创新应用“商务速记”,能够实现通话语音同步纪要,关键事项精准提炼,且无需下载APP,所有手机都支持。
总结
通过,常用的几个方式对讯飞星火3.5进行测评,均有不俗的表现。其他的功能,还在做尝试!