自压缩llm 为 超长记忆
- 解释
- 数据处理实际例子
解释
# 自压缩llm 为 超长记忆
# prompt 格式
# <|细颗粒词表|><|粗颗粒词表|><|细颗粒词表|>
# 细颗粒词表 = 词1,词2,词3,词4,词5,词6,词7,词8,词9,词10,
# 组颗粒词表id1, 组颗粒词表id2, 组颗粒词表id3,
# 组颗粒词表id4, 组颗粒词表id5, 组颗粒词表id6
# 粗颗粒词表 = 词1词2词3,词4词5词6,词7词8词9,词10
# 示例prompt
# <|词1, 词2, 词3, 词4, 词5, 词6, 词7, 词8, 词9,词10|><|组颗粒词表id1,组颗粒词表id2,组颗粒词表id3,词10|><|词5, 词6|>
