hugging face’s daily paper

2024.06.29

OMG-LLaVA

像素级视觉理解、推理。
实现了image-level、object-level、pixel-level的推理和理解。

Step-DPO

LLM长链推理的step-wise偏好优化，提高LLM的数学推理能力。

MUMU

引导多模态的图像生成，从多模态prompts生成image。

SimClass

涉及用户参与的多主体课堂模拟框架。

SeaKR

自适应检索增强生成的自我意识知识检索，当LLM对generation表现出高度的self-aware uncertainty时，会激活检索。
检索增强生成 RAG。

Aligning Teacher with Student Preferences for Tailored Training Data Generation

使老师和学生的偏好保持一致，用于生成量身定制的训练数据
ARTE：Aligning teacheR with studenT preferencEs
为知识蒸馏生成量身定制的训练示例。
知识蒸馏（Knowledge Distillation）：常用的深度学习模型压缩和加速的技术，核心思想为利用一个更大、更复杂的模型（教师模型）来指导训练一个更小、更简单的模型（学生模型）。
知识蒸馏的主要过程：

• 训练一个高性能的教师模型。
• 用教师模型去预测数据样本，获取教师模型的输出，包括类别预测概率（soft labels）。
• 将教师模型的soft labels作为学生模型的训练目标，要求学生模型能够尽可能逼近教师模型的输出，也就是蒸馏loss。
• 知识蒸馏可以使相对较小的学生模型获得接近教师模型的性能，同时大幅度降低模型复杂度和推理时间。

Can LLMs Learn by Teaching? A Preliminary Study

LLM可以通过教学来学习吗？

MoA: Mixture of Sparse Attention for Automatic Large Language Model Compression

稀疏注意力混合用于大语言模型的自动压缩
稀疏注意力可以减轻LLM对内存和吞吐量的需求，传统方法通常采用均匀的稀疏注意力mask，在不同的注意力头和输入长度上应用同样的稀疏模式。本文提出了混合注意力，自动为不同的头和层定制不同的稀疏注意力配置。
提高了检索准确率。

T-FREE: Tokenizer-Free Generative LLMs via Sparse Representations for Memory-Efficient Embeddings

通过稀疏表示的无tokenizer生成式LLM，用于内存高效的embedding
tokenizer的发展最近停滞不前，主要限制包括计算开销、无效的词汇使用、不必要的大嵌入和head层。T-FREE，不需要参考语料库，通过字符三元组上的稀疏激活模式来直接编码单词。
参数量减少了85%以上。

AUTOHALLUSION: Automatic Generation of Hallucination Benchmarks for Vision-Language Models

视觉语言模型幻觉基准的自动生成
幻觉：图像中的某些上下文可能会导致语言模块对异常或者假设现象的过度自信和错误推理。现有的研究幻觉的基准，主要依赖于手工制作的案例。本文开发了一种自动基准生成方法，利用主要策略来生成幻觉示例。

Understand What LLM Needs: Dual Preference Alignment for Retrieval-Augmented Generation

理解LLM的需求：检索增强生成的双偏好对齐
检索增强生成（RAG）可以缓解大语言模型的幻觉问题。本文提出DPA-RAG，调整RAG系统中的不同知识偏好。