每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

某安全公司的资深威胁研究员表示，生成型人工智能提供了一套新的强大工具，使恶意行为者能够比以往任何时候都更高效地在国际上开展活动。

他说，大多数罪犯并不是“生活在某个黑暗的巢穴中策划事情”。“他们中的大多数是进行常规活动的普通人，这些活动需要生产力。”

去年，WormGPT 的兴起和衰落引起了广泛关注。这是一种基于开源模型并经过恶意软件相关数据训练的人工智能语言模型，旨在帮助黑客且没有任何道德规则或限制。但在去年夏天，它的创建者在吸引媒体关注后宣布关闭该模型。自那以后，网络犯罪分子大多停止了开发自己的人工智能模型，转而使用现有工具进行可靠的操作。

他解释说，这是因为罪犯追求轻松生活和快速收益。任何新技术若要值得采用的未知风险——例如更高的被捕风险，它必须比他们目前使用的工具带来更高的回报。

以下是罪犯现在使用人工智能的五种方式。

网络钓鱼

目前，生成型人工智能在罪犯中最大的用例是网络钓鱼，即试图诱使人们泄露可用于恶意目的的敏感信息。一位人工智能安全研究员表示，研究人员发现，ChatGPT 的兴起伴随着网络钓鱼邮件数量的激增。

垃圾邮件生成服务，如 GoMail Pro，已经将 ChatGPT 集成其中，这使得犯罪用户能够翻译或改进发送给受害者的信息。安全专家说，OpenAI 的政策限制人们将其产品用于非法活动，但实际上很难监管，因为许多看似无辜的提示也可能被用于恶意目的。

OpenAI 表示，他们使用人类审查员和自动化系统的混合方法来识别和打击对其模型的滥用行为，并在用户违反公司政策时发出警告、临时停用和禁止使用。

OpenAI 的一位发言人告诉我们：“我们非常重视产品的安全性，并根据人们使用我们产品的方式不断改进我们的安全措施。”他补充说：“我们不断努力使我们的模型更安全，更强大，以防止滥用和越狱，同时保持模型的有用性和任务性能。”

在一份二月的报告中，OpenAI 表示他们关闭了五个与国家有关的恶意行为者相关的账户。

安全专家说，以前所谓的尼日利亚王子骗局，即有人承诺受害者一大笔钱以换取少量的预付款，相对容易被发现，因为信息中的英语笨拙且充满语法错误。语言模型使诈骗者能够生成听起来像是由母语者编写的信息。

他说：“说英语的人以前相对安全，因为你可以发现他们的信息。”而现在情况不再如此。

由于更好的人工智能翻译，世界各地的不同犯罪团伙也能够更好地交流。他表示，风险在于他们可能协调跨国的大规模行动，针对其他国家的受害者。

深度伪造音频骗局

生成型人工智能使得深度伪造的发展迈出了重要一步，合成图像、视频和音频看起来和听起来比以往任何时候都更逼真。这一点没有被犯罪地下世界忽视。

今年早些时候，据报道，一名香港员工被骗走了2500万美元，犯罪分子使用公司首席财务官的深度伪造音频骗取了这名员工的信任，将钱转到了骗子的账户。“我们终于在地下市场看到了深度伪造技术的出现。”他说。他的团队发现有人在像Telegram这样的平台上展示他们的“作品集”，并以每张图像10美元或每分钟视频500美元的价格出售他们的服务。最受犯罪分子欢迎的深度伪造对象之一是某知名企业家。

虽然深度伪造视频仍然很复杂且人们更容易识别，但音频深度伪造并非如此。它们制作成本低廉，只需几秒钟的某人声音——例如从社交媒体上获取——就能生成令人信服的伪造音频。

在美国，有一些高调案例，人们接到亲人的恐慌电话，声称他们被绑架并要求支付赎金，结果发现打电话的是使用深度伪造音频录音的骗子。

他说：“人们需要意识到现在这些事情是可能的，人们需要意识到现在尼日利亚国王不再说破碎的英语。”他补充道：“人们可以用另一种声音给你打电话，并且可以让你陷入非常紧张的境地。”

他说，人们有一些方法可以保护自己。他建议亲人之间商定一个定期更改的秘密安全词，以帮助确认对方的身份。

“我给我奶奶设了密码。”他说。

绕过身份验证

犯罪分子使用深度伪造的另一种方式是绕过“了解你的客户”验证系统。银行和加密货币交易所使用这些系统来验证他们的客户是真实的人。他们要求新用户拍摄自己手持物理身份证件的照片。但犯罪分子已经开始在像Telegram这样的平台上出售允许人们绕过这一要求的应用程序。

这些应用程序通过提供假冒或被盗的身份证，并将深度伪造图像覆盖在真实人的脸上，以欺骗Android手机摄像头上的验证系统。安全专家发现有人为加密货币网站提供这些服务，价格低至70美元。

他说，“它们仍然相对基础。”他们使用的技术类似于Instagram滤镜，将别人的脸替换成自己的脸。

“我们可以预期将来[犯罪分子]会使用实际的深度伪造……这样你就可以进行更复杂的身份验证。”他说。

越狱即服务

如果你问大多数人工智能系统如何制造炸弹，你不会得到有用的回答。

这是因为人工智能公司已经设置了各种安全措施，以防止他们的模型输出有害或危险的信息。网络犯罪分子没有构建自己没有这些安全措施的人工智能模型，而是转向了一种新趋势：越狱即服务。

大多数模型都有使用规则。越狱允许用户操纵人工智能系统生成违反这些政策的输出——例如，编写勒索软件代码或生成可用于诈骗邮件的文本。

EscapeGPT 和 BlackhatGPT 等服务提供对语言模型 API 的匿名访问和频繁更新的越狱提示。为了应对这一不断增长的地下产业，OpenAI 和 Google 等人工智能公司经常需要堵塞可能允许其模型被滥用的安全漏洞。

这些越狱服务使用不同的技巧突破安全机制，例如提出假设性问题或用外语提问。人工智能公司与试图防止其模型失控的恶意行为者之间存在一场不断的猫捉老鼠游戏，后者不断提出越来越有创意的越狱提示。

这些服务正击中罪犯的痛点，他说。

“跟上越狱的步伐是一项繁琐的活动。你提出一个新的提示，然后你需要测试它，然后它会工作几周，然后 OpenAI 更新他们的模型。”他补充道。“越狱是对犯罪分子非常有吸引力的服务。”

人肉搜索和监控

人工智能语言模型不仅是网络钓鱼的完美工具，也是人肉搜索（在网上披露某人的私人信息）的完美工具。他说，这是因为人工智能语言模型是通过大量互联网数据（包括个人数据）进行训练的，并且可以推断出某人可能的位置。

例如，你可以让一个聊天机器人假装成有经验的私人调查员，然后让它分析受害者写的文字，从这些文字中的小线索推断出个人信息——例如，根据他们上高中的时间推断他们的年龄，或者根据他们通勤时提到的地标推断他们住在哪里。互联网上的信息越多，他们就越容易被识别。

他是一个研究团队的成员，该团队去年发现大型语言模型（如 GPT-4、Llama 2 和 Claude）能够仅从与聊天机器人的普通对话中推断出敏感信息，如人的种族、位置和职业。理论上，任何有权访问这些模型的人都可以这样使用它们。

自从他们的论文发布以来，利用语言模型这一特征的新服务已经出现。

虽然这些服务的存在并不表明犯罪活动，但它指出了恶意行为者可能掌握的新能力。他说，如果普通人可以构建这样的监控工具，那么国家行为者可能拥有更好的系统。

他说，“我们防止这些事情发生的唯一方法就是研究防御措施。”

他补充道，公司应该投资于数据保护和安全。

对于个人来说，提高意识是关键。人们应该三思而后行，考虑自己在网上分享的信息，并决定是否愿意让自己的个人详细信息被用于语言模型中。