xvi

CONTENTS

5.4.4

5.5
5.6

5.7
5.8

DUDE Competition Protocol . . . . . . . .
5.4.4.1 Task Formulation . . . . . . . . . .
5.4.4.2 Evaluation Protocol . . . . . . . . .
DUDE Benchmark . . . . . . . . . . . . . . . . . .
5.5.1 Baselines . . . . . . . . . . . . . . . . . . . .
5.5.2 Analysis & Discussion . . . . . . . . . . . . .
Detailed Results Analysis . . . . . . . . . . . . . . .
5.6.1 Within Model Class Analysis . . . . . . . . .
5.6.1.1 Encoder vs. Decoder . . . . . . . .
5.6.1.2 Incorporating Layout & Vision . . .
5.6.1.3 Toward Long Document Processing
5.6.1.4 Diagnosis of LLM Results . . . . . .
5.6.2 Assessing Confidence . . . . . . . . . . . . . .
DUDE Competition Results . . . . . . . . . . . . .
5.7.1 Submitted Methods . . . . . . . . . . . . . .
5.7.2 Performance Analysis . . . . . . . . . . . . .
Chapter Conclusion . . . . . . . . . . . . . . . . . .

6 DistilDoc: Knowledge Distillation for Visually-Rich
Applications
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . .
6.2 Related Work . . . . . . . . . . . . . . . . . . . . .
6.3 Experimental Setup . . . . . . . . . . . . . . . . .
6.3.1 Datasets . . . . . . . . . . . . . . . . . . . .
6.3.2 Architectures and Backbones . . . . . . . .
6.3.3 KD Methods . . . . . . . . . . . . . . . . .
6.3.4 Evaluation . . . . . . . . . . . . . . . . . .
6.3.5 DLA-enriched LLM prompting . . . . . . .
6.4 Results & Discussion . . . . . . . . . . . . . . . . .
6.5 Chapter Conclusion . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

131
132
132
133
133
134
136
136
136
136
136
137
138
138
138
139
144

Document
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

145
147
149
151
152
153
155
157
158
158
163

7 Conclusion
7.1 Summary . . . . . . . . . . . . . . . . . . . . . . . . .
7.2 Perspectives For Future Research . . . . . . . . . . . .
7.2.1 Open Problems In Reliability & Robustness . .
7.2.2 A Future-Proof Design Of IA-DU . . . . . . . .
7.2.2.1 The ‘Ultimate’ DU Dataset? . . . . .
7.2.2.2 A Feature-complete IA-DU Solution?

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

165
165
171
172
173
173
178

Bibliography

.
.
.
.
.
.
.
.
.
.

181

A Appendix - PUQ
223
A
Implementation Details . . . . . . . . . . . . . . . . . . . . . . 223