文章目录
- 1. 知识蒸馏
- 2. 可微搜索索引(DSI)
- 参考资料
在找论文时,发现的相关概念。
1. 知识蒸馏
知识蒸馏(knowledge distillation)是模型压缩的一种常用的方法,不同于模型压缩中的剪枝和量化,知识蒸馏是通过构建一个轻量化的小模型,利用性能更好的大模型的监督信息,来训练这个小模型,以期达到更好的性能和精度。最早是由Hinton在2015年首次提出并应用在分类任务上面,这个大模型我们称之为teacher(教师模型),小模型我们称之为Student(学生模型)。来自Teacher模型输出的监督信息称之为knowledge(知识),而student学习迁移来自teacher的监督信息的过程称之为Distillation(蒸馏)。
2. 可微搜索索引(DSI)
DSI主要有两个部分,分别是
(1)索引(Indexing)—给定文件,输出文件的docid
(2)检索(Retrieval)—根据给定的查询x,输出docid整体流程如下
query -》docid 《- documents
查询到docid称为检索,documents到docid称为索引
参考资料
【1】知识蒸馏:https://zhuanlan.zhihu.com/p/258390817
【2】DSI:https://zhuanlan.zhihu.com/p/665924073