GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区,集成了生成预训练 Transformer(GPT)、人工智能生成内容(AIGC)以及大型语言模型(LLM)等安全领域应用的知识。在这里,您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令(Prompts)。现为了更好地知悉近一周的贡献内容,现总结如下。
一、Security Papers
🔹ChatGPT Al in Security Testing: Opportunities and Challenges
简介:本报告中将深入探讨在安全测试中使用ChatGPTAI的机遇和挑战。我们将探讨如何使用ChatGPTAI来自动化各种安全测试任务,例如漏洞扫描和渗透测试。此外,我们将研究ChatGPTAI在提高安全测试准确性和效率方面的潜力。然而,重要的是要考虑在安全测试中使用AI带来的挑战,例如数据隐私和道德问题。
链接:https://www.cyfirma.com/outofband/chatgpt-ai-in-security-testing-opportunities-and-challenges/
🔹Chatbots to ChatGPT in a Cybersecurity Space:Evolution, Vulnerabilities, Attacks, Challenges, andFuture Recommendations
简介:随着普及程度的提高,聊天机器人遇到了网络安全威胁和漏洞。本文讨论了相关文献、报告,以及针对聊天机器人产生的解释性事件攻击。
链接:https://arxiv.org/pdf/2306.09255.pdf
🔹BadPrompt: Backdoor Attacks on ContinuousPrompts
简介:本文主要研究小样本场景下通过连续prompt对大模型后门攻击。
链接:https://arxiv.org/pdf/2211.14719.pdf
🔹ChatGPT羊驼家族全沦陷!CMU博士击破LLM护栏,人类毁灭计划脱口而出
简介:CMU和人工智能安全中心的研究人员发现,只要通过附加一系列特定的无意义token,就能生成一个神秘的prompt后缀。由此,任何人都可以轻松破解LLM的安全措施,生成无限量的有害内容。
链接:https://mp.weixin.qq.com/s/298nwP98UdRNybV2Fuo6Wg
二、Security Tools
🔹Universal and Transferable Adversarial Attacks on Aligned Language Models
简介:在本文中,我们提出了一种简单有效的攻击方法,该方法可使对齐的语言模型生成令人反感的行为。具体来说,我们的方法找到了一个后缀,当附加到LLM的广泛查询以产生令人反感的内容时,该后缀旨在最大化模型产生肯定响应(而不是拒绝回答)的概率。
论文链接:https://arxiv.org/abs/2307.15043
代码链接:https://github.com/llm-attacks/llm-attacks
🔹利用 Codex 的 API 来构建与网络安全相关的自动化工具
简介:虽然 OpenAI Codex 本身并非专门针对网络安全设计的工具,但它基于 GPT-3.5-turbo 模型,可用于编写、审查和分析代码,包括网络安全相关的代码。我们可以利用 Codex 的 API 来构建与网络安全相关的自动化工具,例如自动生成漏洞扫描脚本或辅助渗透测试。
链接:https://openai.com/blog/openai-codex
🔹Ret2GPT
简介:主要面向CTF类二进制安全设计的工具:Ret2GPT,通过使用 ChatGPT API + Retdec + Langchain,用户可以通过问答+构造好的Prompt 或者 直接使用以及构造好的Prompt 对 特定二进制文件进行漏洞挖掘 起到一个很好的漏洞挖掘助手的功能。
链接:https://github.com/DDizzzy79/Ret2GPT