AgentReview：基于 LLM Agents 模拟同行评审过程的框架

❤️ 如果你也关注大模型与 AI 的发展现状，且对大模型应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

AgentReview 是一个基于大型语言模型（LLM）的框架，用于模拟学术同行评审过程。
它模拟了评审者评估、作者回应、评审者讨论和领域主席决策等阶段。
通过模拟，AgentReview 探索和分离多种影响评审结果的变量，同时保护评审数据的隐私。

正文（附运行示例）

AgentReview 是什么

在这里插入图片描述

AgentReview 是一个基于大型语言模型（LLM）的框架，用于模拟学术同行评审过程。该框架通过模拟评审者、作者和领域主席（AC）的角色，支持研究者在尊重隐私的同时，探索评审偏见、角色和决策机制对评审结果的影响。AgentReview 能提供改进同行评审机制的洞见，支持未来的研究。

AgentReview 的主要功能

模拟同行评审过程：AgentReview 模拟真实的学术同行评审流程，包括评审者评估、作者回应、评审者讨论和领域主席决策等阶段。
角色模拟：框架内集成评审者、作者和领域主席（AC）三种角色，每种角色由 LLM 代理驱动，展现出不同的行为特征。
多变量分析：基于模拟，AgentReview 探索和分离多种影响评审结果的变量，如评审者的承诺、意图和知识能力，及 AC 的决策风格。
隐私保护：在模拟过程中，AgentReview 尊重评审数据的隐私性，不需要用真实的敏感评审数据。
社会学理论验证：AgentReview 验证如社会影响理论、利他主义疲劳、群体思维和权威偏见等社会学理论在同行评审中的应用。

AgentReview 的技术原理

大型语言模型（LLM）：AgentReview 基于 LLM 构建，用语言理解和生成能力模拟评审者和作者的行为。
代理建模：框架中的每个角色（评审者、作者、AC）都被建模为具有特定属性和行为的代理，代理根据预设的特性和规则进行交互。
结构化评审流程：AgentReview 遵循结构化的五阶段评审流程，模拟从初步评审到最终决策的全过程。
自定义和扩展性：框架设计为可扩展的，支持研究者根据需要自定义角色属性和评审流程。
数据驱动的洞察：基于大规模模拟生成的数据，AgentReview 提供统计显著的洞察，支持内容和数值分析。

如何运行 AgentReview

安装

下载数据

下载两个 zip 文件：

下载 AgentReview_Paper_Data.zip 并解压到 data/ 目录下，包含论文 PDF 和真实世界 ICLR 2020 - 2023 的同行评审数据。

unzip AgentReview_Paper_Data.zip -d data/

（可选）下载 AgentReview_LLM_Reviews.zip 并解压到 outputs/ 目录下，包含 LLM 生成的评审数据。

unzip AgentReview_LLM_Review.zip -d outputs/

安装所需包

cd AgentReview/
pip install -r requirements.txt

设置环境变量

如果你使用 OpenAI API，设置 OPENAI_API_KEY：

export OPENAI_API_KEY=... # 格式: sk-...

如果你使用 AzureOpenAI API，设置以下变量：

export AZURE_ENDPOINT=...  # 格式: https://<your-endpoint>.openai.azure.com/
export AZURE_DEPLOYMENT=...  # 你的 Azure OpenAI 部署
export AZURE_OPENAI_KEY=... # 你的 Azure OpenAI 密钥

运行项目

设置 run.sh 文件中的环境变量并运行：

bash run.sh

注意：所有项目文件应从 AgentReview 目录运行。

示例代码

import agentreview.experiment_config as config# 设置实验配置
config.all_settings["your_setting_name"] = {
"setting_key": "setting_value",
# 添加其他设置项
}# 运行实验
from agentreview.experiment import run_experimentrun_experiment(config.all_settings["your_setting_name"])