test_vocab_101 / vocab.txt
ronanki's picture
Upload tokenizer
5058dba
raw
history blame
2.98 kB
[PAD]
[CLS]
[SEP]
[UNK]
[MASK]
"
%
&
'
(
)
*
+
,
-
.
/
0
1
2
3
4
5
6
7
8
9
:
;
<
=
>
[
]
_
a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
u
v
w
x
y
z
~
®
°
²
³
µ
ø
α
##u
##l
##i
##p
##w
##o
##d
##e
##s
##g
##n
##t
##c
##m
##h
##r
##v
##0
##a
##y
##7
##2
##1
##4
##b
##x
##6
##3
##5
##f
##j
##k
##;
##z
##µ
##8
##9
##%
##(
##q
##]
##)
##,
##_
##"
##>
##/
##ø
##<
##=
##-
##er
##in
##on
##at
##ed
##ro
##en
##an
##ic
##as
##ar
##or
##al
##ct
##it
##ol
##il
##ion
##ing
##es
##et
##el
##id
in
##le
tr
##um
##yl
en
##ent
##te
##re
##ation
co
##st
##od
pl
##am
##rom
con
##ity
##80
##ric
##ul
di
from
##ene
##ig
##580
##5804
pro
ele
##ut
##ck
re
elect
##lo
##ur
##ate
a1
a3
##ad
al
##ix
##ated
pa
##igh
##ine
##du
##oly
mix
##ac
car
ste
at
##ood
st
electric
##ow
##im
##sp
##em
##ium
20
gr
poly
##ard
##eth
##ap
##ill
mm
electricity
##uck
truck
##ip
##ber
##ch
##duct
##15804
en15804
cont
##pp
##ort
##ide
##ight
plan
sh
of
##nd
##ast
product
##oad
##eat
##ge
##wood
##ased
pow
steel
##ver
##ess
ac
##ater
##00
##and
content
par
##ri
com
ro
was
##yload
payload
##th
ch
##ist
##ter
##of
fi
gas
##ass
waste
cap
##ylene
gro
##ith
##ane
power
tran
##cl
15804
app
based
##is
capac
##ure
th
and
water
##om
plant
for
un
##led
grid
##us
##eet
part
##yd
##2o
##est
##old
by
##co
oil
##eight
##ce
bo
##rox
res
##gy
##ss
##aw
sheet
h2o
us
##ly
with
##esel
transp
capacity
mo
##iner
transport
##uro
weight
##iz
),
##bon
bi
on
##ergy
diesel
energy
euro
##un
##lu
##rect
##age
approx
se
gross
carbon
cr
##imation
approximation
##cy
##ment
##fill
to
12
acid
land
##umin
op
##ug
##av
landfill
##ial
alumin
##mm
##put
##ural
allo
##cess
fiber
eth
powered
process
production
ex
vd
##act
moist
alloc
##iv
##cr
##ain
##lor
##ab
de
##mg
hyd
kw
pr
##ile
##one
moisture
hard
##amine
rol
open
##os
##all
te
##ne
##iler
##con
##for
kg
##erm
dri
input
comp
cf
so
cem
##ph
treat
treatment
ag
lc
##der
allocation
rolled
flo
mun
##icip
##ctor
plast
roof
municip
municipal
10
cold
##pe
##ay
##verage
average
##cycl
recycl
dried
meth
wood
ep
nat
##br
##og
60
##ance
201
natural
steam
aluminium
##ite
therm
high
wh
##di
##sion
reg
##ot
14
##uel
##bo
pan
ply
fuel
hydro
ha
mod
sol
##ub
##ust
##lass
##ir
conne
connector
c3
lum
inc
chlor
region
eg
sof
##sul
##ry
coated
floor
soft
cor
light
comb
board
lumber
c4
##kv
kil
mel
kiln
bf
coat
a5
recycling
##x1
##ical
inciner
##mer
haul
##ens
##ode
cut
fl
he
pet
up
##anul
direct
granul
incineration
heat
melamine
but
softwood
rene
insul
200
vda
cement
renew
e1
##ethane
15
pin
##uf
##dust
25
hd
sm
sy
slu
##ia
##op
##dge
##yp
##int
##ingle
dist
roofing
granulate
sludge
mill
sp
##ding
electr
##board
##ue
##if
##ong
flooring
22
fo
pe
##infor
reinfor
reinforc
##ied
##ox
##tr
mem
##ive
nm
single
##per
##fin
##icle
incl
##sph
tex
plywood
model
16
18
man
ph
saw
##oline
indi
gasoline
indirect
dw
##yr
##ete
##ell
resist
hardwood
sil
##anol
ba
coating
000
pip
##ool
boiler
sul
indust
membr
##ous
##ides
##crete
membrane
resin
insulation
32
econ
ic
econom
pv
##pylene
##hyd