GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好地知悉近一周的贡献内容，现总结如下。
Security Papers
1. 使用大语言模型增强企业知识库的问答能力
简介：自然语言处理技术的进步使得企业知识库能够生成精确且连贯的答案。然而，面对私人数据的隐私和安全挑战，构建广泛训练数据集成本高昂。为了解决这一问题，本文提出了EKRG框架，它利用大语言模型（LLMs）以较低的注释成本，实现企业知识库的高效问答。该框架包括：使用LLM生成多样化的文档-问题对来训练知识检索器；采用相关性感知的师生学习策略优化训练过程；以及引入基于思维链（CoT）的微调方法，提升LLM生成器利用检索文档回答用户问题的能力。通过在真实数据集上的实验，证实了EKRG框架的有效性。
链接：
https://arxiv.org/pdf/2404.08695.pdf
2. CodeCloak: 一种通过代码大语言模型助手进行评估和减轻代码泄露的方法
简介：本研究提出了两种方法来减少使用基于大语言模型（LLM）的代码助手时的代码泄露风险。第一种是重构技术，它能够从发送给代码助手服务的代码片段中恢复出原始代码库，以评估代码泄露的程度。第二种是CodeCloak，这是一个深度强化学习代理，它在发送提示给代码助手服务前进行操作，旨在在最小化代码泄露的同时保留对开发者有用的建议。通过使用GitHub Copilot、StarCoder和CodeLlama等模型的评估表明，CodeCloak在不同规模的代码库上都有效，并且可以跨模型迁移。此外，研究还构建了模拟编码环境，以在实际开发场景下分析代码泄露风险并评估减轻措施的效果。
链接：
https://arxiv.org/pdf/2404.09066.pdf
3. JailbreakLens: 对大语言模型的越狱攻击的视觉分析
简介：针对大语言模型（LLMs）的安全问题，特别是越狱攻击，研究者联手领域专家开发了一个辅助分析框架。该框架通过自动化工具简化了对越狱提示性能的评估以及对提示中关键组件和词汇的分析。基于此，研究者进一步设计了JailbreakLens，一个视觉分析系统，它使用户能够深入分析目标模型的越狱表现，多维度地探究提示特性，并优化提示样本以确认研究结果。通过案例研究和技术分析，研究者证明了JailbreakLens在评估模型安全性能和识别潜在漏洞方面的实际效用。
链接：
https://arxiv.org/pdf/2404.08793.pdf
4. 我们在使用大语言模型理解剥离二进制代码方面走了多远
简介：二进制代码分析对于软件安全至关重要，但直接理解二进制代码对逆向工程师来说较为困难。为了辅助解读，需要自动化工具的帮助。近年来，深度学习和大语言模型（LLMs）在代码理解和生成方面展现出潜力。本研究提出了一个基准测试，旨在评估LLMs在实际逆向工程场景中的效果。测试包括函数名恢复和二进制代码摘要两个关键任务。通过广泛评估，研究者深入了解了LLMs在二进制代码理解方面的能力和局限。结果显示，现有的LLMs能够一定程度上理解二进制代码，提升分析效率，并在该领域展现出巨大潜力。
链接：
https://arxiv.org/pdf/2404.09836.pdf
5. 大语言模型在网络安全领域的新机遇
简介：大语言模型（LLMs）是一类强大且多功能的模型，对许多行业都有益。随着LLMs的出现，研究者重新审视网络安全领域，特别是探索并总结了LLMs在解决安全和安全领域中的挑战性问题的潜力。
链接：
https://arxiv.org/pdf/2404.11338.pdf
6. 大语言模型供应链：一项研究议程
简介：大语言模型（LLMs）和多模态模型（LMMs）的快速进步为智能应用带来了革命性变化。LLM供应链是AI领域的关键，覆盖了从开发、训练到部署和应用的全过程。它包括模型基础设施、生命周期管理和下游应用生态三个核心部分。尽管如此，LLMs在数据隐私、模型解释性、基础设施扩展和法规合规等方面面临挑战。解决这些问题对发挥LLMs的潜力并确保其合理使用至关重要。本文提出了LLM供应链的未来研究议程，旨在推动这些变革性模型的进一步发展和负责任部署。
链接：
https://arxiv.org/pdf/2404.12736.pdf
编辑：小椰风
)
