LAVE：在 Docmatix 上使用 LLM 進行零樣本 VQA 評估——我們還需要微調嗎？

Original: LAVE: Zero-shot VQA Evaluation on Docmatix with LLMs - Do We Still Need Fine-Tuning?

### Background and Challenges Document Visual Question Answering (DocVQA) is an important application of multimodal AI, requiring models to…

本文介紹了 Hugging Face 提出的 LAVE（LLM 輔助 VQA 評估）方法，並在巨型文檔問答資料集 Docmatix 上進行測試。傳統評估指標（如 ANLS）因過於嚴格而不利於 Zero-shot 模型，而 LAVE 利用 LLM 作為裁判，能更公正地評估模型。結果顯示，雖然強大 LLM 的 Zero-shot 能力顯著，但在特定文檔理解任務中，微調（Fine-tuning）依然是提升中小型模型性能的關鍵。

Summaries are AI-generated; the original article is authoritative.