— NEDETID I NVDB LES — Planlagt oppdatering av NVDB i helga (11-13. mars 2022)

Oppdatering 14. mars:

NVDB Les-API er tilbake i normal drift og oppdateringa ser så langt ut til å vere ein suksess. Vi har fått inn normalt med endringssett så langt i dag, og har ikkje registrert kø enda.

Oppdatering 11. mars:

Test i våre testmiljø er veldig positive. Vi har utført testing med registrering av fleire endringar i NVDB enn vi normalt har i produksjonsmiljø samstundes som vi simulerte ekstrem last på API-et med mange store spørjingar i Les.

Resultatet var at vi berre opplevde midlertidig kø på få minutt i samband med endringar i vegnettet. Men køa tok seg inn igjen etter få minutt. Vi opplevde og at Les er litt tregare (brukar litt lengre tid på å svare) når lasta er størst. Dette var og forventa, men vi reknar gevinsten med å få tilgang på oppdaterte data raskare som større enn ulempene med at svartida vert litt større.

Planlagt oppdatering

Vi driv testing av ei endring i NVDB som skal redusere tida som går med til indeksering av data – eller tida det tek frå NVDB mottek ei endring til den er tilgjengeleg i Les.

Vi har gode erfaringar med testing så langt og ser ut til å kunne redusere tidsbruken med opp mot 90%. Det vil sei at vi kan gå frå dagens situasjon der vi midt på dagen får inn meir enn dobbelt så mange endringar kvart minutt enn vi kan handsame, og dermed kontinuerleg bygger opp kø, til å kunne handsame opp til dobbelt så mange endringar som vi får inn no.

Konsekvens under oppdatering

Men innføring av endringa vil føre til komplett nedetid for Les-API og dermed alle system som er avhengige av dette (Vegkart, Datafangst og eksterne klientar som viser eller nyttar data i NVDB).

Reserveløysing

API v2 og Vegkart-2019 vil vere tilgjengeleg, men det er her ikkje informasjon om vegsystem eller nye fylkes- og kommunestrukturar. Det kan brukast for å finne fagdata om vegobjekt, men vil då innehalde gamle referanse til vegnett, fylker og kommunar.

Nasjonal vegdatabank API.v2 (NVDB API.v2)
Vegkart-2019 (vegvesen.no)

Vurdering nytte/ulempe – tilbakemelding

Vi ser gevinsen med å innføre denne endringa som så stor at dersom vi ikkje finn store problem under testing fra til fredag vil vi innføre det alt no i helga (startar arbeidet fredag 11. mars 2022 kl 16:00).
Dette er kort varsel, men vi har arbeida lenge med å finne ei løysing på dette problemet som stadig vert sørre og som vi får veldig mange tilbakemeldingar på at skaper problem for våre brukarar.
Dersom dette fører til store operasjonelle problem for nokon ber vi om tilbakemelding på dette til NVDB@vegvesen.no.

Ny Datafangst ute

Datafangst versjon 3.1.0 er ut. Her er endringane som er gjort:

Datafangst 2021-3.1.0 (12. april)

  • Gruppe-admin og kontraktgruppe-admin skal også kunne legge til brukere på kontrakt
  • Mulig å endre navn på kontraktgruppe og å slette kontraktgruppe
  • Ingen error-melding skal dukke opp ved navigasjon ut fra innstillings-fanen

Feil – noen søk mangler egengeometri

FIKSA! Denne feilen er nå retta august 2020.

Vi har hadde en feil i NVDB api som gir kjipe konsekvenser for Vegkart, Sinus Infra og Datafangst – og ikke minst registrering av nye data til NVDB. Denne feilen må vi dessverre leve med gjennom sommeren.

Visse typer søk viser data plassert på senterlinja selv om de egentlig har en fysisk plassering i terreng.

Nei, egengeometrien er ikke borte – det er kun feil i kartvisningen

Data med egengeometri er ikke endret i NVDB – det er kun kartvisningen.

Mer presist så serverer vi data med en ekstra geometri-egenskap når du (og vegkart, Sinus og datafangst) henter data fra NVDB api. Normalt så sjekker vi først om det finnes gyldig egengeometri for et objekt; i så fall er det disse dataverdiene som legges på geometri-feltet. Men hvis det ikke finnes egengeometri for et objekt så henter vi koordinater for vegnettet i stedet. Det er her vi gjør feil; logikken skal selvsagt ikke påvirkes av hvilke søkefiltre som brukes – men den gjør det!

Sjekker du detaljene vil du se at egenskapen Geometri, flate, Geometri, linje og Geometri, punkt er slik de skal være.

Konsekvenser

Konsekvensene er størst for dem som driver med registrering og ajourhold av data til NVDB, i for eksempel Sinus.infra eller datafangst, eventuelt med kontroll i Vegkart. Når du registrerer vegutstyr med egengeometri, tydelig plassert til side for vegen, så er det ekstremt forvirrende at objektet ikke dukker opp der du la det.

Det er veldig fort gjort å konkludere at her gikk noe galt, og registrere samme objekt en gang til. Eller kanskje du tror det er noe galt med geometrien, og prøver rette det opp.

Hvilke typer søk har dette problemet?

Alle søk som involverer bruk av vegnettet for å finne ting ser ut til å være påvirket. Det gjelder disse filtrene, muligens flere:

  • Vegsystemreferanse (f.eks E6, slik som vist over)
  • Kommune
  • Fylke

Trolig gjelder dette også en del søk som er mulig i NVDB api, men ikke i vegkart. Slik som overlappfilter.

Hvilke søk fungerer slik de skal?

Disse søkene fungerer slik det skal, og viser objektene med egengeometri

  • Søk med kartutsnitt

Vegkart.no med nytt referansesystem

Vegkart finnes i to ulike versjoner. En versjon med gammelt referansesystem og gammel kommune- og fylkesstruktur. Den omtaler vi ofte som Vegkart versjon 2 – v2. Den andre versjonen er Vegkart med nytt referansesystem, som da omtales som Vegkart v3.

Siden i november 2019 da vi produksjonssatte nytt referansesystem så har vegkart.no vært knyttet mot Vegkart v2 og Vegkart v3 har dere selv måttet finne fram til ved å angi v3 i URL’en.

Vi har nå gjort en endring slik at vegkart.no er knyttet mot Vegkart v3 med nytt referansesystem. Men siden de fleste har vegkart v2 liggende i bufferet/cachen i nettleseren sin, så vil det de fleste fortsatt oppleve å komme til Vegkart v2 idet man skriver vegkart.no.

For å tømme bufferet/cachen i nettleseren og dermed komme til Vegkart v3 med nytt referansesystem, så kan man gjøre følgende:

start Vegkart
tast Ctrl + Shift + I for å komme i inspisermodus
trykk på reload/refresh og velg «Tøm bufferet og kjør hard nyinnlasting» i Chrome, i Edge Beta velger du «Tøm hutrigbuffer og hard oppdatering»

Etter refresh vil vegkart.no gi deg Vegkart med nytt referansesystem. Fortsatt har du muligheten til å benytte Vegkart v2 ved å skrive https://www.vegvesen.no/nvdb/vegkart/v2/

Nytt referansesystem for høyder i NVDB

Vi bytter ikke koordinatsystem for morro skyld – men det har liten praktisk betydning med mindre du jobber med profesjonelt innmålingsutstyr for registrering til NVDB (nøyaktighet om lag et par cm). Detaljer her:

https://www.vegvesen.no/om+statens+vegvesen/presse/nyheter/nasjonalt/viktig-informasjon-til-alle-som-jobber-med-datafangst-til-nvdb

For alle oss andre:

  • Før brukte vi merkelappen EPSG:25833 om NVDB sitt koordinatsystem
  • Akkurat nå, fram til 15. mars, bruker vi merkelappen EPSG:6173
  • fremover vil vi bruke EPSG:5973

X og Y komponenten er den samme i alle de tre systemene (EPSG:25833, EPSG:6173, EPSG:5973), forskjellen er hvordan vi betrakter høydeverdien:

  • EPSG:25833 – udefinert
  • EPSG:6173 – høydemodell NN54 (fram til 15.3.2020)
  • EPSG:5973 – høydemodell NN2000 (fom 15.3.2020)

Forskjellen dreier seg om -15 til +35 cm. Om du jobber med vegnett så risikerer du at data tatt ut før 15.3 ikke henger 100% sammen i høyde med data tatt ut etter 15.3. Den enkleste og mest robuste løsningen er da å ta ut data på ny fra NVDB.

Om du ikke jobber med nettverkstopologi basert på geometri eller med innmåling med høy presisjon – så dreier dette seg kun om bytte av EPSG-kode.

Og dette gjelder kun høyder – dvs Z-koordinat. I kartplan (x,y – koordinater) er disse tre referansesystemene for alle praktiske formål identiske.

API LES 2018-1 og 2018-2 er nå i PROD

Vi har fått ut to nye leveranser på NVDB API LES hittil i 2018:

Nytt

Datoformat:

  • [NVDB-2376] – Ny reponsrevisjon med ISO-dato: Se http://api.vegdata.no/responsrevisjoner.html

Vegnett:

  • [NVDB-2512] – Foreldrelenkeid er nå tilgjengelig i API-responsen for lenker på detaljert nivå
  • [NVDB-2022] – Korrekt angivelse av typeVeg

Geometri:

  • [NVDB-2654] – Ekstra queryparameter for å droppe overflødig geometri: Vi leverer i noen tilfeller 3 geometrier for et objekt. Geometri kan ta stor plass i en respons, spesielt for lange strekningsobjekter. Vi har nå lagt til en query-parameter som gjør at man kan velge hvilke(n) geometri man vil ha. Parameteren heter inkludergeometri og kan ha fire verdier; egenskap, lokasjon, utledet, og ingen

Rettet

  • [NVDB-1658] – Områdenefiltre og avanserte filtre kan ikke kombineres. Man vil nå få en feilmelding: [{«code»: 4009,»message»: «Lokasjonsfiltre og avanserte filtre kan ikke kombineres.»,»help_url»: «http://api.vegdata.no/endepunkt/vegobjekter.html«}]
  • [NVDB-2245] – Geometri veksler mellom to og tre koordinater: I slike tilfeller fyller vi nå ut de manglende høydeverdiene med den fiktive høyden «-999999»
  • [NVDB-2284] – Filtrering på shortdatetype egenskaper gir NPE. Vi støtter nå Egenskapsdatatypen shortDateType
  • [NVDB-2297] – Forbedret håndtering av feil spørringer mot API’et.
  • [NVDB-2299] – For lang request-URI: Lange spørringer, f.eks. Spørringer med mange vegreferanse-filtre resulterte i feilmelding fra søkeindeksen. Dette skal vi nå tåle.
  • [NVDB-2321] – Feilmelding når noen prøver laste ned blobs. Vi støtter ikke nedlasting av binærobjekter fra NVDB. Før kræsjet vi, nå gir vi feilmelding.
  • [NVDB-2354] – Vi håndterer ikke StructAttributeType. Men vi kræsjer heller ikke lengre. Dokumentasjonen er oppdatert, se: http://api.vegdata.no/parameter/egenskapsfilter
  • [NVDB-2398] – Vegreferanse-endepunktet (v2) gir en lenkeposisjon. I tilfeller der angitt vegreferansefilter treffer akkurat på et skille mellom to vegreferanseobjekter, returnerer vi nå konsistent det objektet som starter på posisjonen skal returneres, i tråd med lokasjonslogikken i NVDB [fra og med, til> . Vi har også rettet et grensetilfelle der den utregnede stedfestinga kan i slike tilfeller ha flere desimaler enn stedfestinga i NVDB, og hvis man da skyter over vil man ikke finne riktig lenkekomponent (0,026341528989496002 > 0,026341528989496).
  • [NVDB-2506] – Bedre sjekk av datatype på egenskapsfiltre i spørring
  • [NVDB-2520] – Endepunktet for /vegnett/lenker/ID støtter nå parameteren SRID og gir koordinater i det angitte koordinatsystemet.
  • [NVDB-2547] – kombinasjon av != filtre fungerte feil.
  • [NVDB-2551] – Bedre håndtering av spesialtegn i spørring: Tegnene ( ) [ ] : – + ^ | & ; / ~ og mellrom har spesiell betydning i søkemaskineriet vårt. Disse tegnene vil nå bli behandlet før spørringen utføres..
  • [NVDB-2591] – Oppslag på vegref på med fylke og kommune mangler geometri og lokasjon. Dersom vegreferanse-filter er oppgitt med kommunenummer = 0 så blir det ikke filtrert på kommunenummer. Vi får da ut geomtri og lokasjon slik vi ønsker.
  • [NVDB-2627] – Bedre håndtering av ufullstendige vegreferanse-filtre
  • [NVDB-2749] – Sidepos må snus ved stedfesting mot metrering: I NVDB 123 brukes metreringsretningen for å angi hvilke side av vegen et objekt ligger på.I Vegkart brukes lenkeretningen for å angi hvilke side av vegen et objekt ligger på. I de tilfeller hvor lenkeretning og metreringsretning er forskjellig blir hvilke side av vegen objektene ligger på også forskjellig. Dette er noe de fleste ikke bør måtte forholde seg til og et problem/utfordring for vegkart. Vi prøver å nå å tolke sideposisjonen riktig.
  • [NVDB-2830] – Ikke mulig å bruke egenskapsfilter på kontraktsområde og riksvegrute:Spørringer med områdefilter og vanlig egenskapsfilter er mulig og gir responser med lokasjon. Spørringer med områdefilter og egenskapsfilter med link eller relasjon gir samme melding som nå, «Lokasjonsfiltre og avanserte filtre kan ikke kombineres.»
  • [NVDB-2688] – Vi kræsjet med NPE ved overlappsspørringer der overlapps-objekttypen ikke eksisterte.
  • [NVDB-2764] – Kartutsnitt-søk returnerer punkter utenfor angitt kartutsnitt. Dette er nå rettet for UTM33, der vi har øket presisjonen i spørringene.
  • [NVDB-2915] – Rettet en feil med vegreferanseoppslag som skyldtes tull med sorteringen av resultater fra søkeindeksen.
  • [NVDB-2952] – Kan ikke søke og filtrere på negative tall. Strengere input-kontroll førte til at vi ignorerte søk på negative tall. Det har vi nå lagt tilbake.