Saving weights and logs of step 5000 - epoch 0

README.md

@@ -63,6 +63,7 @@ The following hyperparameters were used during training:
 | step | validation_nst_loss | train_loss | validation_nst_wer | validation_nst_cer | validation_nst_exact_wer | validation_nst_exact_cer | validation_clean_stortinget_no_loss | validation_clean_stortinget_no_wer | validation_clean_stortinget_no_cer | validation_clean_stortinget_no_exact_wer | validation_clean_stortinget_no_exact_cer |
 |:----:|:-------------------:|:----------:|:------------------:|:------------------:|:------------------------:|:------------------------:|:-----------------------------------:|:----------------------------------:|:----------------------------------:|:----------------------------------------:|:----------------------------------------:|
 | 0    | 0.4223              | 0.8343     | 2.3463             | 0.7206             | 2.9397                   | 0.8105                   | 0.6313                              | 8.8868                             | 5.7697                             | 11.8752                                  | 6.2280                                   |
+| 5000 | 0.4364              | 0.5289     | 2.6077             | 0.8063             | 3.2555                   | 0.9057                   | 0.6300                              | 9.1071                             | 5.8300                             | 12.0840                                  | 6.3028                                   |
 
 
 ### Framework versions

flax_model.msgpack

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:2f61f3307a60ad798281f06f3971339fc15375a2d2486dd19dca869c06206f64
+oid sha256:f337c6b525bc7c6f400320df6fecb52b4df64034b7d47ddfb68f7732992dc2c7
 size 3055465603

predictions/validation_clean_stortinget_no/step_0.md

@@ -1,4 +1,4 @@
-[Step 0](step_0.md)
+[Step 0](step_0.md) | [Step 5000](step_5000.md)
 
 | STEP| loss | wer |cer|
 | ---| --- | --- |--- |

predictions/validation_nst/step_0.md

@@ -1,4 +1,4 @@
-[Step 0](step_0.md)
+[Step 0](step_0.md) | [Step 5000](step_5000.md)
 
 | STEP| loss | wer |cer|
 | ---| --- | --- |--- |

predictions/validation_nst/step_5000.md

@@ -0,0 +1,108 @@
+[Step 0](step_0.md) | [Step 5000](step_5000.md)
+
+| STEP| loss | wer |cer|
+| ---| --- | --- |--- |
+| **5000**| 0.436 | 2.608 |0.806 |
+
+| target                                                                                                                                                                         | prediction                                                                                                                                                                   |
+|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+| Billettene fikk døtrene i fødselsdagsgave og julepresang\.                                                                                                                     | Billettene fikk døtrene i fødselsdagsgave og julepresang\.                                                                                                                   |
+| Det var godt å høre at ingen var skadet\.                                                                                                                                      | Det var godt å høre at ingen var skadet\.                                                                                                                                    |
+| Hvert slag på trommene er nøye planlagt og gjennomtenkt\.                                                                                                                      | Hvert slag på trommene er nøye planlagt og gjennomtenkt\.                                                                                                                    |
+| Fra midten av november har hun vært sykmeldt\.                                                                                                                                 | Fra midten av november har hun vært sykmeldt\.                                                                                                                               |
+| Problemet er imidlertid at jeg ikke ordentlig forstår hva hennes kommentar tilfører av ny informasjon\.                                                                        | Problemet er imidlertid at jeg ikke ordentlig forstår hva hennes kommentar tilfører av ny informasjon\.                                                                      |
+| Av historier som i aller høyeste grad er hans egne\.                                                                                                                           | Av historier som i aller høyeste grad er hans egne\.                                                                                                                         |
+| Segregert humor er ikke noe for meg\.                                                                                                                                          | Segregert humor er ikke noe for meg\.                                                                                                                                        |
+| Informasjon er viktig for å fjerne rasisme\.                                                                                                                                   | Informasjon er viktig for å fjerne rasisme\.                                                                                                                                 |
+| Det er artig å være nominert\.                                                                                                                                                 | Det er artig å være nominert\.                                                                                                                                               |
+| Slik kan du gjerne si at publikum selv har valgt sangene\.                                                                                                                     | Slik kan du gjerne si at publikum selv har valgt sangene\.                                                                                                                   |
+| Maleriets integritet søkes i dets spesifikke **og** essensielle egenskaper\.                                                                                                   | Maleriets integritet søkes i dets spesifikke essensielle egenskaper\.                                                                                                        |
+| Vi vil til neste vinter undersøke **forurensingen** i området\.                                                                                                                | Vi vil til neste vinter undersøke **forurensningen** i området\.                                                                                                             |
+| Kritikken mot tjenesten har vært massiv og må tas til etterretning\.                                                                                                           | Kritikken mot tjenesten har vært massiv og må tas til etterretning\.                                                                                                         |
+| Det har blitt noe **lenger** tid i denne saken\.                                                                                                                               | Det har blitt noe **lengre** tid i denne saken\.                                                                                                                             |
+| Det har vært et satsingsområde for landenes kulturministre\.                                                                                                                   | Det har vært et satsingsområde for landenes kulturministre\.                                                                                                                 |
+| Mytene om tusser og troll levde i beste velgående til langt inn i forrige århundre\.                                                                                           | Mytene om tusser og troll levde i beste velgående til langt inn i forrige århundre\.                                                                                         |
+| Det kan tas hensyn til forhold som farlig skolevei\, skolenes kapasitet og hvor **elevens** **søsken** måtte gå\.                                                              | Det kan tas hensyn til forhold som farlig skolevei\, skolenes kapasitet og hvor **elevene** **skal** måtte gå\.                                                              |
+| Det forundrer oss at ikke arkitekturhistorikeren husker at slike prosesser er historisk legitimert gjennom en rekke eksempler\.                                                | Det forundrer oss at ikke arkitekturhistorikeren husker at slike prosesser er historisk legitimert gjennom en rekke eksempler\.                                              |
+| Den planlagte **sommerturnéen** er dermed kansellert\, selv om alt ser ut til å gå rett vei for sangeren\.                                                                     | Den planlagte **sommerturneen** er dermed kansellert\, selv om alt ser ut til å gå rett vei for sangeren\.                                                                   |
+| Varmeutviklingen er så stor at det er helt umulig å ta seg inn til de døde\.                                                                                                   | Varmeutviklingen er så stor at det er helt umulig å ta seg inn til de døde\.                                                                                                 |
+| Den planlagte **sommerturnéen** er dermed kansellert\, selv om alt ser ut til å gå rett vei for sangeren\.                                                                     | Den planlagte **sommerturneen** er dermed kansellert\, selv om alt ser ut til å gå rett vei for sangeren\.                                                                   |
+| Den nye sentralbanksjefen begynte å fungere i stillingen i november i fjor\.                                                                                                   | Den nye sentralbanksjefen begynte å fungere i stillingen i november i fjor\.                                                                                                 |
+| Ved siden av skolegangen ble fotballen hans viktigste gjøremål\.                                                                                                               | Ved siden av skolegangen ble fotballen hans viktigste gjøremål\.                                                                                                             |
+| Tankevekkende nok later det til at vold har vært gjenstand for folkeforlystelse til alle tider\.                                                                               | Tankevekkende nok later det til at vold har vært gjenstand for folkeforlystelse til alle tider\.                                                                             |
+| Konsertantallet har ikke avtatt nevneverdig med årene\.                                                                                                                        | Konsertantallet har ikke avtatt nevneverdig med årene\.                                                                                                                      |
+| Vanligvis består opplæringen av å reise mindre byggverk inne i en **verkstedhall**\.                                                                                           | Vanligvis består opplæringen av å reise mindre byggverk inne i en **verste** **hall**\.                                                                                      |
+| Det gigantiske arrangementet med **folkloreinnslag**\, kunst og fantastisk underholdning imponerte stort\.                                                                     | Det gigantiske arrangementet med **folklore** **innslag**\, kunst og fantastisk underholdning imponerte stort\.                                                              |
+| Det finnes imidlertid ikke noen absolutte grenser for hva som er virkelig effektiv og mindre effektiv behandling\.                                                             | Det finnes imidlertid ikke noen absolutte grenser for hva som er virkelig **effektivt** og mindre effektiv behandling\.                                                      |
+| Skolen ønsker å utdanne artister som mestrer både sang\, dans og drama\.                                                                                                       | Skolen ønsker å utdanne artister som mestrer både sang\, dans og drama\.                                                                                                     |
+| Som første kvinne består hun det interne lederkurset\, og **karriéren** skyter på ny fart\.                                                                                    | Som første kvinne består hun det interne lederkurset\, og **karrieren** skyter på ny fart\.                                                                                  |
+| I tillegg til disse to tok fylkessykehuset **i** **mot** en pasient med armskader til poliklinisk behandling\.                                                                 | I tillegg til disse to tok fylkessykehuset **imot** en pasient med armskader til poliklinisk behandling\.                                                                    |
+| Han var høyt respektert og sto i en klasse for seg\.                                                                                                                           | Han var høyt respektert og sto i en klasse for seg\.                                                                                                                         |
+| Konserten er imidlertid velklingende for soloinstrumentet\.                                                                                                                    | Konserten er imidlertid velklingende for soloinstrumentet\.                                                                                                                  |
+| De som ikke vil\, de skal\.                                                                                                                                                    | De som ikke vil\, de skal\.                                                                                                                                                  |
+| Steker du kjøttet for lenge\, blir det seigt\.                                                                                                                                 | Steker du kjøttet for lenge\, blir det seigt\.                                                                                                                               |
+| Hans direkte form og spissformuleringer ble verdsatt\.                                                                                                                         | Hans direkte form og spissformuleringer ble verdsatt\.                                                                                                                       |
+| I kveld spiller de i byen\.                                                                                                                                                    | I kveld spiller de i byen\.                                                                                                                                                  |
+| Syv filippinere\, den burmesiske kapteinen og nederlenderen er reddet\.                                                                                                        | Syv filippinere\, den burmesiske kapteinen og nederlenderen\, er reddet\.                                                                                                    |
+| Undertegnedes mening er at ved bruk av midlertidig **kjøreadkomst\,** kan bygging av skolen starte umiddelbart og permanent **kjøreadkomst** utredes parallelt med byggingen\. | Undertegnedes mening er at ved bruk av midlertidig **kjøreankomst** kan bygging av skolen starte umiddelbart og permanent **kjøreankomst** utredes parallelt med byggingen\. |
+| Ekspertene antyder at prisen vil gå ned allerede i løpet av året\.                                                                                                             | Ekspertene antyder at prisen vil gå ned allerede i løpet av året\.                                                                                                           |
+| Det kan det faktisk bli bråk av\.                                                                                                                                              | Det kan det faktisk bli bråk av\.                                                                                                                                            |
+| Jeg kan løpe av **meg** ergrelser og frustrasjoner\.                                                                                                                           | Jeg kan løpe av **med** ergrelser og frustrasjoner\.                                                                                                                         |
+| Hun understreker at reglene ikke innebærer at norske **ferger** i norske havner kan friste reisende med kasino i fremtiden\.                                                   | Hun understreker at reglene ikke innebærer at norske **ferjer** i norske havner kan friste reisende med kasino i fremtiden\.                                                 |
+| Bråta sier at det ikke skal være fare for nye ras\, men at man ikke har noen garanti for dette\.                                                                               | Bråta sier det ikke skal være fare for nye ras\, men at man ikke har noen garanti for dette\.                                                                                |
+| I stedet for å importere arbeidskraft fra utlandet\, kan de bruke oss som er her\.                                                                                             | I stedet for å importere arbeidskraft fra utlandet\, kan de bruke oss som er her\.                                                                                           |
+| Hvis avtalen om distribusjon og salg av bøker i kongeriket faller\, kan vi vente oss et helt annet bokmarked\.                                                                 | Hvis avtalen om distribusjon og salg av bøker i kongeriket faller\, kan vi vente oss et helt annet bokmarked\.                                                               |
+| Et slikt system vil alle bydelene tape på **over** **tid**\.                                                                                                                   | Et slikt system vil alle bydelene tape på **overtid**\.                                                                                                                      |
+| Jeg tror norske interesser vil komme inn\.                                                                                                                                     | Jeg tror norske interesser vil komme inn\.                                                                                                                                   |
+| Du mener at svært mange tar feil\.                                                                                                                                             | Du mener at svært mange tar feil\.                                                                                                                                           |
+| Den eneste muligheten for at det norske domenenavnet skal bli tatt\, er at to bedrifter heter det samme\.                                                                      | Den eneste muligheten for at det norske domenenavnet skal bli tatt\, er at to bedrifter heter det samme\.                                                                    |
+| Fiskeindustrien har henvendt seg til fiskeriministeren for å gi uttrykk for sin frykt for å miste råstoff\.                                                                    | Fiskeindustrien har henvendt seg til fiskeriministeren for å gi uttrykk for sin frykt for å miste råstoff\.                                                                  |
+| Det er dessuten en perle av en **musical**\.                                                                                                                                   | Det er dessuten en perle av en **musikal**\.                                                                                                                                 |
+| Han er spent**\,** og regner med at programformen trenger litt tid for å sitte\.                                                                                               | Han er spent og regner med at programformen trenger litt tid for å sitte\.                                                                                                   |
+| Man kan ikke hypnotiseres til handlinger som strider mot vedkommendes personlighet\.                                                                                           | Man kan ikke hypnotiseres til handlinger som strider mot vedkommendes personlighet\.                                                                                         |
+| Jeg tror bestemt at konsernet har videre motiver\.                                                                                                                             | Jeg tror bestemt at konsernet har videre motiver\.                                                                                                                           |
+| Problemene med å organisere seg kommer klart frem i antallet meglinger for å få tariffavtaler\.                                                                                | Problemene med å organisere seg kommer klart frem i antallet meglinger for å få tariffavtaler\.                                                                              |
+| Hos mange går fagene derfor ikke fri for kritikken av den moderne samfunnsutvikling\.                                                                                          | Hos mange går fagene derfor ikke fri for kritikken av den moderne samfunnsutvikling\.                                                                                        |
+| Han minner om at ordet på gresk opprinnelig betød den kunnskap som kommer gjennom sansene\.                                                                                    | Han minner om at ordet på gresk opprinnelig betød den kunnskap som kommer gjennom sansene\.                                                                                  |
+| I stedet for å importere arbeidskraft fra utlandet\, kan de bruke oss som er her\.                                                                                             | I stedet for å importere arbeidskraft fra utlandet\, kan de bruke oss som er her\.                                                                                           |
+| I norrøn tid var genitiv i flittig bruk\, og også akkusativ og dativ\.                                                                                                         | I norrøn tid var genitiv i flittig bruk\, og også akkusativ og dativ\.                                                                                                       |
+| Kritikken mot tjenesten har vært massiv og må tas til etterretning\.                                                                                                           | Kritikken mot tjenesten har vært massiv og må tas til etterretning\.                                                                                                         |
+| Rusmiddelsekretariatet har hatt problemer med å finne et nytt sted til beboerne\.                                                                                              | Rusmiddelsekretariatet har hatt problemer med å finne et nytt sted til beboerne\.                                                                                            |
+| Det er viktig for at alle fremtidige generasjoner skal kunne oppleve de synlige tegn på vår eldste historie\.                                                                  | Det er viktig for at alle fremtidige generasjoner skal kunne oppleve de synlige tegn på vår eldste historie\.                                                                |
+| Han var en beskjeden mann som ønsket minst mulig oppmerksomhet om seg selv\.                                                                                                   | Han var en beskjeden mann som ønsket minst mulig oppmerksomhet om seg selv\.                                                                                                 |
+| Det er dessuten en perle av en **musical**\.                                                                                                                                   | Det er dessuten en perle av en **musikal**\.                                                                                                                                 |
+| Problemet er imidlertid at jeg ikke ordentlig forstår hva hennes kommentar tilfører av ny informasjon\.                                                                        | Problemet er imidlertid at jeg ikke ordentlig forstår hva hennes kommentar tilfører av ny informasjon\.                                                                      |
+| Olsen er den reelle forvalter av milliardverdiene\.                                                                                                                            | Olsen er den reelle forvalter av milliardverdiene\.                                                                                                                          |
+| Stemningen inne på intensivavdelingen er underlig\.                                                                                                                            | Stemningen inne på intensivavdelingen er underlig\.                                                                                                                          |
+| Folk liker og er glad i disse bygningene\.                                                                                                                                     | Folk liker og er glad i disse bygningene\.                                                                                                                                   |
+| Du har ditt på det tørre\.                                                                                                                                                     | Du har ditt på det tørre\.                                                                                                                                                   |
+| Man **reviderer** dagens lokalisering av bomsystemet**\,** og etablerer en indre bomring\.                                                                                     | Man **rekviderer** dagens lokalisering av bomsystemet og etablerer en indre bomring\.                                                                                        |
+| Flyplassen ble stengt for vanlig trafikk\.                                                                                                                                     | Flyplassen ble stengt for vanlig trafikk\.                                                                                                                                   |
+| Når man diskuterer en ting\, så skal man gjøre det saklig\.                                                                                                                    | Når man diskuterer en ting\, så skal man gjøre det saklig\.                                                                                                                  |
+| Spørsmålet om kugalskap kan smitte over på mennesker og føre til en dødelig hjernesykdom\, er blitt underordnet\.                                                              | Spørsmålet om kugalskap kan smitte over på mennesker og føre til en dødelig hjernesykdom\, er blitt underordnet\.                                                            |
+| Kort tid etter sto farkosten i full fyr\.                                                                                                                                      | Kort tid etter sto farkosten i full fyr\.                                                                                                                                    |
+| Han ser for seg delprosjekter av høy kvalitet\, der innspill med klare forskningsmål og tverrfaglig karakter blir prioritert\.                                                 | Han ser for seg delprosjekter av høy kvalitet\, der innspill med klare forskningsmål og tverrfaglig karakter blir prioritert\.                                               |
+| Fem utlendinger møter storparten av den norske juniorelite de kommende fem dager\.                                                                                             | Fem utlendinger møter storparten av den norske juniorelite de kommende fem dager\.                                                                                           |
+| Hun tar seg en måned fri hvert år\.                                                                                                                                            | Hun tar seg en måned fri hvert år\.                                                                                                                                          |
+| De spiller en avansert form for rock som krever sitt av musikerne\, men her er det publikum som gir klart mest\.                                                               | De spiller en avansert form for rock\, som krever sitt av musikerne\, men her er det publikum som gir klart mest\.                                                           |
+| Disse kommer i stand gjennom forhandlinger\.                                                                                                                                   | Disse kommer i stand gjennom forhandlinger\.                                                                                                                                 |
+| Det skal også utvikles regionale utviklingsprogrammer der formålet er å få de forskjellige kommuner og bedrifter i regionene til å samarbeide bedre\.                          | Det skal også utvikles regionale utviklingsprogrammer der formålet er å få de forskjellige kommuner og bedrifter i regionene til å samarbeide bedre\.                        |
+| Kommuner som ønsker å gi tillatelse til bygging av slike sentre\, må søke om dispensasjon\.                                                                                    | Kommuner som ønsker å gi tillatelse til bygging av slike sentre\, må søke om dispensasjon\.                                                                                  |
+| Dette viser at tilsynsorganenes innsats for røykfritt miljø nytter\, understreker hun\.                                                                                        | Dette viser **til** at tilsynsorganenes innsats for røykfritt miljø nytter\, understreker hun\.                                                                              |
+| Han sier også at det er første gang det er inngått en slik avtale i vår del av verden\.                                                                                        | Han sier også at det er første gang det er inngått en slik avtale i vår del av verden\.                                                                                      |
+| Hun har gitt seg i kast med et krevende trekantdrama\, en fortelling om kjærlighetstyven som prøver å stjele en annen manns liv\.                                              | Hun har gitt seg i kast med et krevende trekantdrama\, en fortelling om kjærlighetstyven som prøver å stjele en annen manns liv\.                                            |
+| Her kan vi sitte i fred og prate og nyte maten\.                                                                                                                               | Her kan vi sitte i fred og prate og nyte maten\.                                                                                                                             |
+| Det var to personer i kassebilen\, den ene av dem fikk lettere skader\.                                                                                                        | Det var to personer i kassebilen\, den ene av dem fikk lettere skader\.                                                                                                      |
+| I beste forstand var han **entertainer** og behersket situasjonen og publikum med **en** **scenekunstners** finesser\.                                                         | I beste forstand var han **enterteiner** og behersket situasjonen og publikum med **scenekunstens** finesser\.                                                               |
+| De bare mottar og mottar uten å løfte en finger\.                                                                                                                              | De bare mottar og mottar uten å løfte en finger\.                                                                                                                            |
+| Det går ikke\, sier han\.                                                                                                                                                      | Det går ikke\, sier han\.                                                                                                                                                    |
+| De har et annet språk**\,** **en** annen verden som de forholder seg til\.                                                                                                     | De har et annet språk **enn** annen verden som de forholder seg til\.                                                                                                        |
+| Det skal også utvikles regionale utviklingsprogrammer der formålet er å få de forskjellige kommuner og bedrifter i regionene til å samarbeide bedre\.                          | Det skal også utvikles regionale utviklingsprogrammer**\,** der formålet er å få de forskjellige kommuner og bedrifter i regionene til å samarbeide bedre\.                  |
+| Det er sterk vekst i røykerelaterte sykdommer\.                                                                                                                                | Det er sterk vekst i røykerelaterte sykdommer\.                                                                                                                              |
+| I stedet for å importere arbeidskraft fra utlandet\, kan de bruke oss som **er** **her**\.                                                                                     | I stedet for å importere arbeidskraft fra utlandet\, kan de bruke oss som **merder**\.                                                                                       |
+| Begge tror det kan ta lang tid før de er tilbake på jobb\.                                                                                                                     | Begge tror **at** det kan ta lang tid før de er tilbake på jobb\.                                                                                                            |
+| Det skal være en av grunnene til at andre land ikke har gått med på den franske planen\.                                                                                       | Det skal være en av grunnene til at andre land ikke har gått med på den franske planen\.                                                                                     |
+| Hun er oppvokst med krypdyr i alle varianter\.                                                                                                                                 | Hun er oppvokst med krypdyr i alle varianter\.                                                                                                                               |
+| Mange reagerer på at det røykes der de skal raste\.                                                                                                                            | Mange reagerer på at det røykes der de skal raste\.                                                                                                                          |
+| Det vil trolig øke muligheten og faren for konflikter mellom ulike befolkningsgrupper i fremtiden\.                                                                            | Det vil trolig øke muligheten og faren for konflikter mellom ulike befolkningsgrupper i fremtiden\.                                                                          |
+| Kort tid etter sto farkosten i full fyr\.                                                                                                                                      | Kort tid etter sto farkosten i full fyr\.                                                                                                                                    |

runs/Jan07_21-34-09_t1v-n-ef12f06c-w-4/events.out.tfevents.1704663249.t1v-n-ef12f06c-w-4.15891.0.v2

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:0370e7c5dda4f275a2a65cfa46ab3cf55b294253413721b3a40070cd9eda16a7
-size 160225
+oid sha256:d2f362fe7ecf4c6344fecaa6fdc4af8a945801a0f8dc6bd9be71195f5fa1f1ad
+size 1790432

training_state.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:244bca22a7f5d8e80da1e9b3575129b3a3f7ab11cb916fc4e34d2d394f2a1396
-size 594
+oid sha256:0bfe084d02b511c9f18bdaba122f80b888f0d85a91d4424fbc11d1fe43202b64
+size 1167