Demo datafangst 2. februar 2022

Vi pleier ikke poste oppsummering fra demo, men på grunn av situasjonen med dårlig stabilitet i Datafangst så kom det fram ting på demo vi mener bør nå fram til flere.

NVDB Rapporter:

Kan bestille zip-fil med V1,V2,V3,V4 og tilstand/skade. Sum veglengder: Ny rad med summen av kjøreveg og gang/sykkelsti.

Datafangst – ytelse og stabilitet

Ytelse og stabilitet henger sammen – hvis en type spørring går tregt så vil det bli en lang «kø» med disse trege spørringene, og i verste fall blir det så mange samtidige trege spørringer samtidig at alt sammen stopper opp.

Vi har tatt vekk «røde prikken» som viser hvilke kontrakter som er endret. Dette var en av de trege spørringene som ga oss utfordringer. Vi skal gjøre denne databasespørringen raskere og når den blir rask nok så kommer prikken tilbake.

Brukerønske ang den røde prikken: Vi har behov for denne typen «Vis at her er det skjedd endringer» på alle GUI-elementer, fra den overordnede listen med kontrakter helt ned til visning av enkeltobjekter.

Ekstremt tydelig og klar tilbakemelding på at vi må bli flinkere til å publisere driftsmeldinger fortløpende på twitter, og dernest bli flinkere til å skrive oppsummeringer om arbeidet med problemløsning (og øvrige planer) på vegdata.no.

Ny funksjonalitet i datafangst: «Opprett nytt strekningsobjekt»

Vist på forrige demo, men måtte gå en runde til fordi brukertesten avdekket mangler. I denne testprosessen fått gode innspill og idéer fra testerne våre, og ut fra det har vi laget flere løsningsforslag som vi mener tilsammen skal gi knallbra funksjonalitet. Men disse må prioriteres bak arbeidet med ytelse og stabilitet. Vi vil prøve å snurpe sammen en minimumsløsning som ikke vil være så brukervennlig som vi ønsker, men som fungerer godt nok til at den kan tas i bruk. Så får den knallgode implementasjonen komme senere, når vi har mer overskudd.

Balansering – arbeidet med ny versus gammel datafangst-løsning

Vi kommer ikke til å offisielt «fryse» videreutvikling av gammel datafangst-løsning selv om vi lager en ny. Verden endrer seg, og det kan dukke opp behov som er for viktige til at de kan vente på den nye løsningen. Vi nekter derfor å sette opp harde regler for hva vi gjør og ikke gjør av forbedringer i gammel løsning.

Aller høyest prioriterer vi at Datafangst virker! Ytelse og stabilitet henger sammen, og dette prioriterer vi høyt. Ref oversikten over arbeidet med å forbedre brukeropplevelse

Bortsett fra den nye funksjonen «Opprett nytt strekningsobjekt» vil det ikke bli tilført noe særlig nytt i eksisterende datafangst.

Vi vil også prøve å gjeninnføre del av de tingene vi måtte deaktivere på grunn av ytelsesproblemer, for eksempel «rød prikk» ved de kontraktene der det har skjedd endringer. Og det er ett og annet småtteri og bugs som ikke lenger fungerer like godt som før, det prøver vi å fikse. Og så er det slik at hvis vi med liten innsats kan gjøre en fiks eller forbedring som gir brukerne våre en bedre arbeidshverdag så prøver vi jo å klemme det inn. Men ikke forvent for mye.

Varsel !!! – Mogleg nedetid i NVDB-Les i helga.

Vi har som mange nok har erfart hatt utfordringar utover et normale i NVDB den siste veka. I samband med feilretting kan det verte aktualt å bygge opp data i NVDB på nytt. Dersom det vert nødvendig vil vi gjere det i helga.

Under gjenoppbygging av data vil NVDB-Les vere heilt utilgjengeleg i ei periode. Dette vil påverke alle klientar som nyttar NVDB-data. Vegkart vil og framstå som tom.

Data i NVDB vil ikkje verte berørt, og ingen data skal gå tapt. Vi må berre bygge opp igjen tilgangen til dataene.

Les-API v2 vil vere oppe, det same gjeld vegkart-2019.atlas.vegvesen.no dersom nokon treng tilgang på data, men då med dei avgensingane som er i v2 med gamle fylker og kommuner, samt gamle vegreferansar.

Vi vil oppdatere med ny informasjon i løpet av morgongaden om kva som vil skje i helga.

Vi må ta ned Datafangst for vedlikehold i helga!

EDIT Mandag 24.1: Suksess, nå har vi fått metreringsretning inn i datafangst!

Vi beklager kort varsel – men fra fredag 21.1 kl 17 så blir Datafangst utilgjengelig på grunn av database vedlikehold.

Bonus er jo at vi kommer tilbake mandag morgen med metreringsretning på stedfesting!

I løpet av helga vil vi legge informasjon om metreringsretning på all vegnettsinformasjon, dvs stedfestingen for samtlige objekter i databasen til Datafangst. Denne informasjonen hentes fra leseapi, og det er en tidkrevende prosess. Vi antar kjøretida blir rundt ett døgn, men foretrekker å sette av hele helga til oppdatering, for sikkerhets skyld.

Planen var jo at denne oppdateringen skulle kjøre i bakgrunnen mens dere brukte Datafangst som vanglig, men som vi så i går – det fungerte ikke spesielt bra. Det kunne kanskje fungert i helga, når det er færre brukere, men vi har valgt å gjøre det trygt og sikkert denne gangen.

Datafangst driftsproblemer 20. januar – LØST

LØST klokka 11:00: Problemet er LØST.

Årsaken var knyttet til oppdatering av metreringsretning på alle vegene som manglet denne informasjonen. Denne engangs-operasjonen belaster systemet såpass mye at vi må utsette denne jobben til helga, når det er færre brukere på systemet. Vi siterer fra gårsdagens informasjon om ny release:

Vi har et script som kjører og fyller inn metreringsretning på alle veger det er stedfestet på. Dette tar ca. et døgn å kjøre. Det betyr at vi har ikke metreringsretning på alle veger enda.

Om man har et objekt som er stedfestet på veg uten metreringsretning vil sideposisjon og felt være grået ut i vegobjekter-fanen og hvis man hovrer på dette feltet vil det stå «Objektet er stedfestet på veg uten metreringsretning og sideposisjon/felt kan ikke oppgis.». Hvis objektet har sideposisjon eller felt vil det dukke opp så snart metreringsretningen har blitt hentet inn. Hvis man vil se sideposisjon og felt med en gang kan man stedfeste på nytt og vi vil da hente inn metreringsretningen på veglenka. Alle veglenker forventes å ha fått metreringsretning innen fredag morgen i løpet av helga.

Det er driftsproblemer med Datafangst, ser ut som om forbindelsen med databasen vår hikker. Utviklerteamet er i gang med feilsøking og -retting, dette innlegget oppdateres med mere info.

Datafangst – innlogging feiler for noen brukere

Oppdatering 15.12.2021 kl 12:19: Problemet er LØST!

Oppdatering 15.12.2021 kl 10:38: Vi ruller straks ut en ny fiks vi tror skal løse problemet. Mer info så snart denne er prøvd ut i praksis.

Brukere som IKKE jobber i Statens vegvesen sliter for tiden med å logge inn i Datafangst.

I gårsdagens kaos gjorde vi en feilkonfigurering. Når du logger inn i Datafangst så logger Datafangst inn i NVDB api LES. Denne andre innloggingen er bittelitt ulikt satt opp for brukere innafor eller utafor vegvesenet. Her har vi snublet i oppsettet: Det fungerer for Vegvesen-brukere, men ikke for de andre.

Heldigvis skal dette være kjapt å fikse, vi regner med at det er i orden i løpet av en times tid.snart

Datafangst: Gjenopprettes fra backup, men det kan ta hele dagen LØST

PROBLEMET ER LØST, Datafangst er oppe igjen fra ca 20:00 tirsdag kveld (14.12.2021). Backupen vi gjenskapte er fra natt til mandag. Evt arbeid som er gjort i løpet av mandag 13.12 eller tirsdag 14.12 må gjøres om igjen. Systemet har vært utilgjengelig store deler av denne perioden, men var for eksempel tilgjengelig mandag formiddag, så noe arbeid har nok gått tapt.

Vi beklager på det sterkeste ulempene for våre brukere.

Oppdatering 14.12.2021 16:09: Gjenoppretting pågår ennå, denne prosessen må nesten få kjøre helt til den er ferdig.

Oppdatering 14.12.2021 12:30: Gjenoppretting vil nok ta hele dagen, ser det ut til.

Datafangst blir dessverre utilgjengelig i dag 14.12.2021. Det mest optimistiske anslaget er at vi kan få opp systemet igjen før lunch, men det kan like gjerne ta lengre tid.

I går fikset vi log4j-sårbarheten i datafangst, men det medførte blant annet at vi måtte re-installere hele databasesystemet. Vi holder nå på å gjenopprette alle data i Datafangst fra backup, men dette er en treg, plundrete og sårbar prosess.

Vi beklager ulempene dette gir for våre brukere.

NVDB api LES fungerer ikke

6.12.2021 klokken 12:44 Vi FRISKMELDER NVDB api LES, i både PRODUKSJON og TESTPROD (ATM). Utviklingsmiljøet vårt har ikke hatt disse problemene

6.12.2021 klokken 12:30: Alt ser greit ut så langt, vi vurderer full friskmelding, men testing pågår ennå

6.12.2021 klokken 11:50: Vi har fått NVDB api LES igang igjen, har ikke rukket å teste alt grundig, men det ser OK ut så langt

Vi jobber med feilsøking, oppdaterer så snart vi har mer informasjon

Feilen påvirker alle systemer som bruker data fra NVDB api LES, deriblant Vegkart, NVDB rapporter, Datafangst med flere

Nye problem i NVDB

Det er igjen problem i NVDB. I dag er det Indeksering som ikkje fungerer som det skal.

Det betyr i praksis at alt som er oppdatert i NVDB etter 08:56:56 i dag (3/12-21) ikkje er tilgjengeleg for å hente ut igjen. Uthentig av data generelt fungerer som det skal, men siste endringar vert ikkje med.

Å levere data til NVDB fungerer som normalt, men her og er det problem dersom endringa omhandlar data som alt er oppdatert tidlegare i dag. den er ikkje klar for ny oppdatering før etter den er gjennom indeksering.

Dersom du har endringssett som står på vent eller som er godkjent, men ikkje kjem opp i Vegkart er det berre ein ting å gjere – vente. Ditt endringssett vil behalde sin plass i køa, og når NVDB er tilbake i normal drift vil den behandle køa sak for sak til den er oppdatert.

Vi er no så lang ut på fredagen at NVDB neppe er oppdatert før etter helgeindeksering. Men frå måndag morgon håpar vi at alle feil er retta og at alle data er oppdatert.

Datafangst har framleis problem

Status 2.12.2021 – PROBLEMET ER LØST, datafangst fungerer nå som normalt.

Vi beklager på det sterkeste ulempene dette har hatt for våre brukere. Vi er fullt klar over at dette ble ekstra uheldig på grunn av leveranser og frister ved månedsskiftet.

Status 2.12.2021: Vi har gyldig sertifikat, men det er litt plunder med å få det lirket på plass der det skal være.

Noen brukere rapporterer suksess med å bruke nettleseren i «privat visning» / «ikognitomodus» og derfra fortelle nettleseren at joda, du skal gå til datafangst selv om vi har sertifikatfeil. Eksakt oppskrift varierer med nettleser, men på Chrome og IE klikker du «avanserte» på den feilmeldingssiden du får opp når du prøver å laste datafangst.

Dessverre finnes det ingen robust oppskrift på workaround som virker for alle, men dette virker iallfall for noen av oss

Status 1.12.2021 Datafangst har framleis ein del problem etter nettverksproblematikken i går. Det ser ut som vi har sertifikat som ikkje vert fornya i denne tenesten.

Vi arbeider med feilretting og håper å vere tilbake i normal drift snart.