❤️ 如果你也关注大模型与 AI 的发展现状，且对大模型应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
🚀 快速阅读
- AgentReview 是一个基于大型语言模型（LLM）的框架，用于模拟学术同行评审过程。
- 它模拟了评审者评估、作者回应、评审者讨论和领域主席决策等阶段。
- 通过模拟，AgentReview 探索和分离多种影响评审结果的变量，同时保护评审数据的隐私。
正文（附运行示例）
AgentReview 是什么
AgentReview 是一个基于大型语言模型（LLM）的框架，用于模拟学术同行评审过程。该框架通过模拟评审者、作者和领域主席（AC）的角色，支持研究者在尊重隐私的同时，探索评审偏见、角色和决策机制对评审结果的影响。AgentReview 能提供改进同行评审机制的洞见，支持未来的研究。
AgentReview 的主要功能
- 模拟同行评审过程：AgentReview 模拟真实的学术同行评审流程，包括评审者评估、作者回应、评审者讨论和领域主席决策等阶段。
- 角色模拟：框架内集成评审者、作者和领域主席（AC）三种角色，每种角色由 LLM 代理驱动，展现出不同的行为特征。
- 多变量分析：基于模拟，AgentReview 探索和分离多种影响评审结果的变量，如评审者的承诺、意图和知识能力，及 AC 的决策风格。
- 隐私保护：在模拟过程中，AgentReview 尊重评审数据的隐私性，不需要用真实的敏感评审数据。
- 社会学理论验证：AgentReview 验证如社会影响理论、利他主义疲劳、群体思维和权威偏见等社会学理论在同行评审中的应用。
AgentReview 的技术原理
- 大型语言模型（LLM）：AgentReview 基于 LLM 构建，用语言理解和生成能力模拟评审者和作者的行为。
- 代理建模：框架中的每个角色（评审者、作者、AC）都被建模为具有特定属性和行为的代理，代理根据预设的特性和规则进行交互。
- 结构化评审流程：AgentReview 遵循结构化的五阶段评审流程，模拟从初步评审到最终决策的全过程。
- 自定义和扩展性：框架设计为可扩展的，支持研究者根据需要自定义角色属性和评审流程。
- 数据驱动的洞察：基于大规模模拟生成的数据，AgentReview 提供统计显著的洞察，支持内容和数值分析。
如何运行 AgentReview
安装
下载数据
下载两个 zip 文件：
- 下载 AgentReview_Paper_Data.zip 并解压到
data/目录下，包含论文 PDF 和真实世界 ICLR 2020 - 2023 的同行评审数据。
unzip AgentReview_Paper_Data.zip -d data/
- （可选）下载 AgentReview_LLM_Reviews.zip 并解压到
outputs/目录下，包含 LLM 生成的评审数据。
unzip AgentReview_LLM_Review.zip -d outputs/
安装所需包
cd AgentReview/
pip install -r requirements.txt
设置环境变量
如果你使用 OpenAI API，设置 OPENAI_API_KEY：
export OPENAI_API_KEY=... # 格式: sk-...
如果你使用 AzureOpenAI API，设置以下变量：
export AZURE_ENDPOINT=... # 格式: https://<your-endpoint>.openai.azure.com/
export AZURE_DEPLOYMENT=... # 你的 Azure OpenAI 部署
export AZURE_OPENAI_KEY=... # 你的 Azure OpenAI 密钥
运行项目
设置 run.sh 文件中的环境变量并运行：
bash run.sh
注意：所有项目文件应从 AgentReview 目录运行。
示例代码
import agentreview.experiment_config as config# 设置实验配置
config.all_settings["your_setting_name"] = {
"setting_key": "setting_value",
# 添加其他设置项
}# 运行实验
from agentreview.experiment import run_experimentrun_experiment(config.all_settings["your_setting_name"])
资源
- 项目官网：https://agentreview.github.io/
- GitHub 仓库：https://github.com/Ahren09/AgentReview
- HuggingFace 模型库：https://huggingface.co/spaces/Ahren09/AgentReview
- arXiv 技术论文：https://arxiv.org/pdf/2406.12708
❤️ 如果你也关注大模型与 AI 的发展现状，且对大模型应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
