CONTENTS

3.6
3.7

3.8
3.9

II

xv

3.5.4.2 NLP Architecture . . . . . . . . . .
3.5.4.3 Ensemble size M . . . . . . . . . . .
3.5.4.4 Concrete Dropout p . . . . . . . . .
Discussion . . . . . . . . . . . . . . . . . . . . . . . .
Additional Uncertainty Approaches . . . . . . . . . .
3.7.1 Stochastic Gradient MCMC Methods . . . .
3.7.2 Spectral-normalized Neural Gaussian Process
3.7.2.1 SNGP Results . . . . . . . . . . . .
3.7.2.2 SNGP Discussion . . . . . . . . . .
Limitations . . . . . . . . . . . . . . . . . . . . . . .
Chapter Conclusion . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

Realistic and Efficient Document Understanding

4 Beyond Document Page Classification: Design,
Challenges
4.1 Introduction . . . . . . . . . . . . . . . . . . . .
4.2 Problem Formulation . . . . . . . . . . . . . . .
4.3 Balancing Research & Applications . . . . . . .
4.4 Experimental Study . . . . . . . . . . . . . . .
4.5 Challenges and Guidelines . . . . . . . . . . . .
4.5.1 Divergence of Tasks: f . . . . . . . . . .
4.5.2 Divergence of Label Space: Y . . . . . .
4.5.3 Divergence of Input Data: X . . . . . .
4.5.4 Maturity of Evaluation Methodology . .
4.6 Chapter Conclusion . . . . . . . . . . . . . . .
5 Document UnderstanDing of Everything (DUDE
5.1 Introduction . . . . . . . . . . . . . . . . . . .
5.2 Related Work . . . . . . . . . . . . . . . . . .
5.3 DUDE Dataset . . . . . . . . . . . . . . . .
5.3.1 Gathering Documents . . . . . . . . .
5.3.2 Annotation Process . . . . . . . . . .
5.3.3 Dataset Statistics . . . . . . . . . . . .
5.3.4 Diagnostic Subsets . . . . . . . . . . .
5.3.5 Evaluation . . . . . . . . . . . . . . .
5.4 DUDE Competition . . . . . . . . . . . . . .
5.4.1 Challenge Objectives . . . . . . . . . .
5.4.2 Challenge Contributions . . . . . . . .
5.4.3 Motivation and Scope . . . . . . . . .
5.4.3.1 Desired Generalization. . . .

.
.
.
.
.
.
.
.
.
.
.
.
.

77
79
80
81
85
86
87
88
90
90
91

94

Datasets, and
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

95
97
98
101
104
107
107
108
109
111
111

.
.
.
.
.
.
.
.
.
.
.
.
.

)
. .
. .
. .
. .
. .
. .
. .
. .
. .
. .
. .
. .
. .

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

113
116
117
118
121
121
123
125
126
128
128
129
129
130