RWKV 做 CoT 特别有优势,因为推理速度和显存占用与上下文无关。即使做几百万 token 的 CoT 也不会变慢或额外消耗显存。
RWKV 社区开发者 @Jellyfish042 训练了一个用于解决数独谜题的专用 RWKV 模型 Sudoku-RWKV ,项目的训练代码和数据制作脚本均已开源。
GitHub 仓库:https://github.com/Jellyfish042/Sudoku-RWKV
Sudoku-RWKV 使用 700k 条数独专用的 COT 数据进行训练,数据总量约 25B(250 亿) token。这些数据均使用仓库内的 generate_sudoku_data.py
脚本自动生成。
100% 准确率
在 Jellyfish042 的测试中,Sudoku-RWKV 对最高 50 个空单元格的数独实现了 100% 的准确率。
高达 50 个空单元格的数独,解题难度会呈指数上升,而 RWKV 模型通过几万个 token 的 CoT 仍然可以实现近乎 100% 的解题率。
什么是数独
数独是一种逻辑游戏,玩家需要根据 9×9 盘面上的已知数字,推理出所有剩余空格的数字,并满足每一行、每一列、每一个粗线宫(3×3)内的数字均含 1-9,不重复。
加入 RWKV 社区
RWKV 是一种创新的深度学习网络架构,它将 Transformer 与 RNN 各自的优点相结合,同时实现高度并行化训练与高效推理。
- RWKV 中文官网(有多篇多模态论文):https://rwkv.cn/
- RWKV-5/6(Eagle & Finch)论文: https://arxiv.org/abs/2404.05892
- RWKV-4 论文: https://arxiv.org/abs/2305.13048
欢迎大家加入 RWKV 社区!可以从 RWKV 中文官网了解 RWKV 模型,也可以加入我们的 QQ 频道和群聊,一起探讨 RWKV 模型。
- QQ 频道:https://pd.qq.com/s/9n21eravc
- QQ 交流群:224287095