Åh nei – excel tror tall betyr dato

Excel har en logikk som gjetter hva tall og tekst betyr når du importerer dato. Dessverre er funksjonen som gjetter på hva som er dato litt i overkant ivrig.

At excel tipper noe er en dato har skapt flere frustrerende problemer og blant annet medført at adskillige årsverk med forskning har gått i vasken. Genforskere bytter nå navn på gensekvenser for å omgå problemet, og adskillige forskningsartikler har måttet trekkes tilbake fordi dataene ble korrupte etter at excel hadde mistolket dem.

Dessverre er også csv-eksporten fra Vegkart til tider rammet – ikke ofte, men noen ganger. For eksempel sliter vi med at excel leser tallene våre for lengde og tolker dem som dato. F.eks dataverdier som SEPT-1, eller visse tallkombinasjoner.

Workaround – importer data manuelt til excel-arbeidsbok

Du skal IKKE åpne filen med excel, men importere den til en ny fane i excel:

  1. Laste ned CSV-filen uten å åpne den.
  2. Åpne Excel på normalt vis med en tom arbeidsbok.
  3. Gå til Data-fanen, klikk på «Fra tekst/csv». Hvis denne knappen er «grået ut» så åpner du en ny fane i excel med pluss-knappen nederst.
  4. Finn CSV-filen du lastet ned og importer denne.
  5. Se over at alt ser riktig ut i preview-vinduet.
  6. Trykk «Last inn».
  7. Du vil få CSV-data inn i et nytt ark. Du kan slette det tomme arket du startet med. .

Dataverdiene skal nå være riktige. I tillegg får en pen formattering

Med bilder:

Steg 1: Last ned data (vegkart-brukerveiledning)

Steg 2: En tom arbeidsbok i Excel

Skjermdump, en tom fane (tomt regneark) i Excel

Steg 3: Gå til «Data» – fanen, klikk «Fra tekst/CSV» Hvis denne knappen er «grået ut» (inaktiv) så åpner du en ny fane i excel med pluss-symbolet nederst.

Skjermdump, importer data til excel via fanen "Data" og valget "From text / CSV"
Fanen data, knappen «From Text/CSV». Hvis denne knappen er inaktiv (grået u) så åpner du bare en ny fane med pluss-knappen nederst, så pleier det virke.

Steg 4: I vinduet «import data» velger du CSV-filen du nettopp lastet ned.

Skjermdump, menyen "Import data" hvor du velger den CSV-filen du lastet ned fra vegkart.

Steg 5 og 6: Se over «data preview»- vinduet, sjekk at alt ser greit ut. Vanligvis går det helt fint med standardvalgene. Klikk «Load» for å laste inn

Skjermdump, data preview vindu i excel.

Steg 7: Suksess!

Skjermdump som viser hvordan data er pent formattert av excel etter dataimport.

Feil – noen søk mangler egengeometri

FIKSA! Denne feilen er nå retta august 2020.

Vi har hadde en feil i NVDB api som gir kjipe konsekvenser for Vegkart, Sinus Infra og Datafangst – og ikke minst registrering av nye data til NVDB. Denne feilen må vi dessverre leve med gjennom sommeren.

Visse typer søk viser data plassert på senterlinja selv om de egentlig har en fysisk plassering i terreng.

Nei, egengeometrien er ikke borte – det er kun feil i kartvisningen

Data med egengeometri er ikke endret i NVDB – det er kun kartvisningen.

Mer presist så serverer vi data med en ekstra geometri-egenskap når du (og vegkart, Sinus og datafangst) henter data fra NVDB api. Normalt så sjekker vi først om det finnes gyldig egengeometri for et objekt; i så fall er det disse dataverdiene som legges på geometri-feltet. Men hvis det ikke finnes egengeometri for et objekt så henter vi koordinater for vegnettet i stedet. Det er her vi gjør feil; logikken skal selvsagt ikke påvirkes av hvilke søkefiltre som brukes – men den gjør det!

Sjekker du detaljene vil du se at egenskapen Geometri, flate, Geometri, linje og Geometri, punkt er slik de skal være.

Konsekvenser

Konsekvensene er størst for dem som driver med registrering og ajourhold av data til NVDB, i for eksempel Sinus.infra eller datafangst, eventuelt med kontroll i Vegkart. Når du registrerer vegutstyr med egengeometri, tydelig plassert til side for vegen, så er det ekstremt forvirrende at objektet ikke dukker opp der du la det.

Det er veldig fort gjort å konkludere at her gikk noe galt, og registrere samme objekt en gang til. Eller kanskje du tror det er noe galt med geometrien, og prøver rette det opp.

Hvilke typer søk har dette problemet?

Alle søk som involverer bruk av vegnettet for å finne ting ser ut til å være påvirket. Det gjelder disse filtrene, muligens flere:

  • Vegsystemreferanse (f.eks E6, slik som vist over)
  • Kommune
  • Fylke

Trolig gjelder dette også en del søk som er mulig i NVDB api, men ikke i vegkart. Slik som overlappfilter.

Hvilke søk fungerer slik de skal?

Disse søkene fungerer slik det skal, og viser objektene med egengeometri

  • Søk med kartutsnitt

VegRefHistorikk – PCprogram for å finne gamle vegnummer

NB! Per august 2021 fungerer ikke dette programmet, vi oppdaterer så snart vi har fått mer informasjon (workaround eller fiks)

Stian Søberg Johansen, Innlandet fylkeskommune (og tidligere vegvesen-kollega) har laget et PC-program som hjelper deg å finne fram i gamle og nye vegreferanser. En vegreferanse har som kjent den leie egenskapen at de går ut på dato, fordi vegnettet endrer seg. Eller så har vi administrative påfunn, som å bytte vegnummer eller hvem som har ansvaret for vegen.

Vegrefhistorikk er et fint tilskudd til verktøykassa for å oversette mellom gamle vegreferanser og nye, og mellom de to referansesystemene.

Hovedfunksjoner

  • Klikk i kart / hent fra koordinat
  • Fritekstsøk
  • Import av regneark med gamle vegreferanser og oversette dem til nye (importtrans).

Her har du lenke til brukerveiledning og her kan du laste ned applikasjonen

VegRefHistorikk-startvinduet.png
VegRefHistorikk-startvinduet-bareKart.png

Workarounds: Eksport av data fra vegkart

NVDB api versjon 3 er under rivende utvikling: Vi jobber kontinuerlig med ytelse og feilretting. Dessverre må vi tære enda en stund på tålmodigheten til våre brukere før vi har den stabiliteten og kvaliteten i alle ledd som vi ønsker. Men vi nærmer oss!

Ett av problemene har vært eksport av data fra Vegkart, som CSV eller SOSI prikk (kun vegkart V3). Dette har vi jobbet mye med, og vi er nesten i mål. Oppskrifter finner du i vegkart brukerveiledning eller under «ofte stilte spørsmål«.

For å bruke CSV- eller SOSI eksport må du først utvide infoboksen med søkeresultatet ditt (høyrepil ved der det står antall objekter).

Dessverre vil noen av søkene dine gi feilmeldingen «Det har skjedd en ulykke» når du prøver å utvide resultatboksen (FIKSA 5.6.2020).

Feilen med crash og feilmelding «Det har skjedd en feil» når du prøver å utvide infoboksen om søket ditt skal nå være retta. Men hvis du fremdeles opplever problemer kan du prøve Versjon 2 av Vegkart (eller vegkart-2019, som den også kalles). CSV-eksporten derfra fungerer (krysser fingre). https://www.vegdata.no/ofte-stilte-sporsmal/hvordan-far-jeg-nvdb-data-inn-i-kartsystemet-mitt/

CSV eksport har rader du må ignorere

CSV-eksporten fra vegkart V3 vil ofte, men ikke alltid ha med noen rader som mangler verdi for fylke, kommune, geometri og vegsystemreferanser. Disse må du ignorere / filtrere ut.

For eksempel CSV-dump for søk etter skiltplate i Bjerkreim inneholder 2036 rader. 40 av disse radene mangler fylke, kommune, geometri og vegsystemreferanser. Ignorer disse, og du står igjen med 1996 gyldige rader.

Mer detaljer: https://www.vegdata.no/2020/04/22/csv-dump-fra-vegkart/

CSV-dump fra Vegkart

Vi har en feil i CSV-eksporten fra versjon 2 av vegkart (V2) som gjør at CSV-dumpen ikke inneholder geometri. Fiksa!

Ved CSV nedlasting fra vegkart V3, får du med en del rader med ugyldige data.

Vegkart versjon 3 med søk på trafikkmengde langs E10 og mulighet for nedlasting av data som Sosi eller CSV.

Som nevnt får du en del rader med ugyldige data. Disse mangler blant annet data om geometri, kommune og fylke. Dette kan du trygt ignorere.

Utdrag av tabell med trafikkmengde E10 lastet ned som CSV. Vi ser at fire av radene mangler data om kommune, fylke og geometri. Disse radene kan trygt ignoreres.

Utdrag av tabell med trafikkmengde E10 lastet ned som CSV. Vi ser at fire av radene mangler data om kommune, fylke og geometri. Disse radene kan trygt ignoreres.

Lenker til vegkart V2 og V3:

Vegkart.no med nytt referansesystem

Vegkart finnes i to ulike versjoner. En versjon med gammelt referansesystem og gammel kommune- og fylkesstruktur. Den omtaler vi ofte som Vegkart versjon 2 – v2. Den andre versjonen er Vegkart med nytt referansesystem, som da omtales som Vegkart v3.

Siden i november 2019 da vi produksjonssatte nytt referansesystem så har vegkart.no vært knyttet mot Vegkart v2 og Vegkart v3 har dere selv måttet finne fram til ved å angi v3 i URL’en.

Vi har nå gjort en endring slik at vegkart.no er knyttet mot Vegkart v3 med nytt referansesystem. Men siden de fleste har vegkart v2 liggende i bufferet/cachen i nettleseren sin, så vil det de fleste fortsatt oppleve å komme til Vegkart v2 idet man skriver vegkart.no.

For å tømme bufferet/cachen i nettleseren og dermed komme til Vegkart v3 med nytt referansesystem, så kan man gjøre følgende:

start Vegkart
tast Ctrl + Shift + I for å komme i inspisermodus
trykk på reload/refresh og velg «Tøm bufferet og kjør hard nyinnlasting» i Chrome, i Edge Beta velger du «Tøm hutrigbuffer og hard oppdatering»

Etter refresh vil vegkart.no gi deg Vegkart med nytt referansesystem. Fortsatt har du muligheten til å benytte Vegkart v2 ved å skrive https://www.vegvesen.no/nvdb/vegkart/v2/

Nytt referansesystem for høyder i NVDB

Vi bytter ikke koordinatsystem for morro skyld – men det har liten praktisk betydning med mindre du jobber med profesjonelt innmålingsutstyr for registrering til NVDB (nøyaktighet om lag et par cm). Detaljer her:

https://www.vegvesen.no/om+statens+vegvesen/presse/nyheter/nasjonalt/viktig-informasjon-til-alle-som-jobber-med-datafangst-til-nvdb

For alle oss andre:

  • Før brukte vi merkelappen EPSG:25833 om NVDB sitt koordinatsystem
  • Akkurat nå, fram til 15. mars, bruker vi merkelappen EPSG:6173
  • fremover vil vi bruke EPSG:5973

X og Y komponenten er den samme i alle de tre systemene (EPSG:25833, EPSG:6173, EPSG:5973), forskjellen er hvordan vi betrakter høydeverdien:

  • EPSG:25833 – udefinert
  • EPSG:6173 – høydemodell NN54 (fram til 15.3.2020)
  • EPSG:5973 – høydemodell NN2000 (fom 15.3.2020)

Forskjellen dreier seg om -15 til +35 cm. Om du jobber med vegnett så risikerer du at data tatt ut før 15.3 ikke henger 100% sammen i høyde med data tatt ut etter 15.3. Den enkleste og mest robuste løsningen er da å ta ut data på ny fra NVDB.

Om du ikke jobber med nettverkstopologi basert på geometri eller med innmåling med høy presisjon – så dreier dette seg kun om bytte av EPSG-kode.

Og dette gjelder kun høyder – dvs Z-koordinat. I kartplan (x,y – koordinater) er disse tre referansesystemene for alle praktiske formål identiske.

Ny versjon av ruteplantjenesten

Vi er stolte over å kunne lansere ny versjon av ruteplantjenesten!

Ruteplantjenesten er et REST api for å gi deg ruteforslag for bil eller sykkel på  (relativt) ferskt vegnett fra Nasjonal Vegdatabank. Vegnettet i tjenesten oppdateres 10 ganger årlig, samtidig med Elveg-leveransen. Ruteforslagene kan også ta med veg-, vær- og føremeldinger fra Datex langs ruta, eventuelt unngå ruter der visse typer vegmeldinger forekommer.

Ruteplantjenesten brukes for eksempel av vegvesen.no/trafikk, vegvesenets kartløsning for oppdatert trafikkinformasjon.

Rutesøk i vegvesen.no/trafikk

Vi har også en testklient som også egner seg for eksperimentering med ruteplantjenesten.

Hvor finner jeg dokumentasjon?

Her.

Hva er uendret?

Hovedfunksjonaliteten og de mest brukte parametrene er uendret. Mer presist oppfører disse parametrene seg som før:

format
stops
route_type
barriers
returnGeometry
returnSimpleGeometry
returnDirections
returnDirectionGeometry
streetname_hints
geometryformat
encapsulateStreetNames
weight
height
length
startTime

Merk at parameteren startTime heller ikke i denne versjonen har noen som helst effekt. En mulighet er f.eks å la tjenesten ta hensyn til (evt returnere data for) planlagt vegarbeid som skjer samtidig med når du har tenkt å kjøre, eller tilpasse ruta etter hvilke ferjer som går akkurat da. Men dette er videreutvikling som p.t. ikke har noen finansiering. 

Hva er nytt?

  • Sykkelruting forbedringer
    • For route_type=bike kan du finjustere rutevalgene og tidsbruk gjennom parametrene powerEffort (unngå motbakker) og bikePathUsage (foretrekk sykkelstier).
  • Finland og Sverige 
    • Rutevalg på finsk og svensk vegnett
    • parameter lang gir deg finsk og svensk språk i retningsangivelse
  • NVDB veglenker: Parameter returnNvdbReferences=true gir deg en liste med veglenkesekvenser og posisjoner. Dermed har du en referanse til NVDB vegnett som du kan bruke til andre ting, f.eks. søke etter andre fagdata i NVDB.
  • Eksperimentelt
    • allowTravelInZeroEmissionZone (default=true) er et eksperiment som viser at vi lettvint kan tilby geofence-funksjoner. Valget gjør at rutevalgene vil kjøre utenom NVDB-objekter av typen 943 Lavutslippsone Geosum (test).
  • Unngå vegmeldinger. Her er dessverre dokumentasjonen noe mangelfull. Det kan også være noe forvirrrende å finne ut av hvilke Datex II vegmeldingtyper som kan være relevante (og ofte vil samme vegmelding bli publisert som flere typer samtidig.
    • avoidRoadsClosedForWinter, default=true. Standard oppførsel er at vi ikke ruter på vinterstengte veger. (Ajourhold av hva som er vinterstengte veger er noe eksperimentelt)
    • avoidMessagesOfType=kommaseparert liste med vegmeldingtyper, for eksempel maintenanceWork,roadClosed. Generell mekanisme for å unngå de vegmeldingtypene du misliker. 
  • En til mange – ruting. Du kan oppgi ett startpunkt og mange målpunkt, og få returnert en liste med reisetid og -avstand til hvert av målpunktene.

Begrensninger

Bruk av ruteplan api’et er begrenset til 2500 kall per døgn, per brukerId.

Bruk av ruteplan api må bruke vår løsning for autentisering. P.t. er dette http basic auth, hvilket ikke akkurat får jubelen i taket hos dem som utvikler webløsninger for publikum. Vi håper vi kan ta i bruk et mer moderne autentiseringsregime.

Dokumentasjon

Kartløsning nytt vegreferansesystem

Vegvesenet legger om vegreferansesystemet i Nasjonal Vegdatabank, og mange lurer på hva det betyr. Vi har prøvd å oppsummere de viktigste endringene her. For mer detaljer se håndbok v830 Nasjonalt vegreferansesystem.

Som hjelp i overgangen har vi laget en kartløsning som viser både gammel og ny vegreferanse for et punkt på vegnettet. Du kan bruke tekstfeltet til å søke på både gammelt og nytt, eller klikke i kartet.

Kartløsningen finner du her

Kartløsning for å sammenligne nytt og gammelt vegreferansesystem