Status september 2016

Vi på NVDB og Geodata vil gjerne begynne å legge ut litt statusinformasjon for å gi innblikk i hva vi jobber med og dele noen tips når det dukker opp. Håper dere synes det er interessant å lese litt om hva vi gjør!

 

FOSS4G

http://foss4g.no/ hadde Jan Kristian Jensen gleden av å snakke om programmering mot NVDB api: Hvordan er NVDB strukturert, hvilke kodebibliotek finnes, et par av snublefellene, og lignende ting av interesse. Foss4g er en konferanse for fri og åpen programvare, med spesiell vekt på «Geo» – fagfeltet. Video finnes her, og presentasjon med klikkbare lenker til eksempler m.m. finner du via http://foss4g.no

foss4g

Ny brukerveiledning

Elin Leikvang er nyeste tilskudd på teamet til NVDB og Geodata, hun er utdannet dataingeniør, har jobba med brukervennlighet og blir nå systemeier på datafangst. I sommer har hun lagt ut en ny versjon av brukerveiledningen til Vegkart, formålet er å hjelpe de som ikke kan noe om systemene til å komme i gang med å bruke Vegkart. Ta gjerne en titt her.

brukerveiledning

 Datainnsamling med Vionice og Volvo

Elin Leikvang og Per Andersen har vært på testkjøringer fra Trondheim til Oslo og Stavern og hjem igjen for å samle inn data til et prosjekt de jobber på sammen med Tomas Levin og Ane Dalsnes Storsæter på ITS. Det går ut på å kartlegge nøyaktigheten på innlesning av skilt via Volvo sitt innebygde sensorsystem og en mobilapp laget at Finske Vionice. Ta en titt på Vionice sine sider for å lese litt mer om teknologien deres.

img_4413img_2971

img_2969 img_2992

Formålet med dette prosjektet er å se om vi kan finne mer kostnadseffektive måter å samle inn noen datatyper på, i denne omgang tester vi for skilt. Prosjektet fortsetter nå med kvalitets- og nøyaktighetsvurderinger.

Samarbeidsavtale innenfor NVDB-fagområdet mellom SVV og Nye Veier AS

b240d2a0-83f5-4e76-83ac-0ab48e2f4d22

Per Roald Andersen jobber for tiden med Nye Veier AS om en samarbeidsavtale og har skrevet litt om det her:

Det er etablert en felles arbeidsgruppe som skal utarbeide forslag til samarbeidsavtale mellom SVV og Nye veier AS på NVDB- fagområdet.

Arbeidsgruppen ledes av leder for NVDB og geodataseksjonen, Per Andersen, John Mikalsen representerer regionene i arbeidsgruppen og Jacob Trondsen fra TRAFF skal ivareta fagsiden, Espen Sveen er med som gruppas sekretær og skal føre selve avtaleutkastet i pennen.

Forslag til avtale skal være på plass innen 10.10.2016. Gruppa vil støtte seg på fagmiljøene og dra inn ekstra ressurser ved behov. Nye veier AS er representert med fire deltakere i gruppa.

Avtalen skal beskrive rutiner for samhandling mellom SVV og NV, ikke detaljer på leveranse av data.

Avtalen skal i hovedsak dekke tre områder:
  1. NVs tilgang til data fra NVDB med tilliggende fagregistre inkludert ev. programvare for effektiv tilgang til data.
  2. Rutiner, programvare mm for å etablere og oppdatere vegreferansesystemet i NVDB og ev. referansesystemer i tilliggende fagregistre, for veg NV har ansvar for.
  3. Rutiner, programvare mm for å etablere og oppdatere andre data og opplysninger i NVDB med tilliggende fagregistre om veg, vegobjekter, trafikken, miljøet, vedtak mm for veg NV har ansvar for Statens Vegvesen legger to viktige prinsipp til grunn for avtalen:
  • Leveranser fra Nye veier AS skal skje fra selskapet ikke selskapets entreprenører og konsulenter, dvs. SVV ønsker en ansvarlig i selskapet
  • SVV skal ikke utføre arbeid for selskapet. Selskapet har hele ansvaret og arbeidet med å levere de data, med den kvalitet, på det format, til den tid og på den måte vi fastsetter for det enkelte prosjekt. Forvaltning av nasjonalt vegreferanssystem skal SVV utføre.

Ansvaret knyttet til NVDB med tilliggende fagregistre vil naturlig fordele seg slik:

  • SVV har ansvar for å gi NV god tilgang til data fra NVDB med tilliggende fagregistre, samt tilrettelegge for at selskapet tidsriktig kan levere de data og andre opplysninger, på den måten, med den kvalitet og det format som SVV fastsetter for det enkelte veganlegg.
  • NV skal ved utbygging, vedlikehold og drift av det enkelte veganlegg som de har ansvar for, levere data og andre opplysninger til NVDB med tilliggende fagregistre som fastsatt av SVV. Utgangspunktet er at NV ved utbygging, vedlikehold og drift til enhver tid skal levere tilsvarende data og andre opplysninger til NVDB med tilliggende fagregistre som SVV skal levere for sammenlignbare veganlegg.

Første møte i arbeidsgruppa er gjennomført, her var temaet leveranse av vegnett og teknisk grensesnitt som tilbys fra SVV. Videre arbeidsplan er lagt opp med oppfølgingsmøte i forhold til vegnett, to møter vedr leveranse i henhold til objektlista og et avsluttende møte for å lande avtaleutkastet.

 

Kommune og regionreformen, Konsekvenser for NVDB

Vi i avdelinga jobber også med konsekvensutredning knytta til kommunereformen, her følger en status på den jobben:

Endringer i de nasjonale administrative nivåene vil få konsekvenser for NVDB, uavhengig av valgt modell for ny nummerering av fylker/ kommuner. En slik endring i de nasjonale administrative nivåene vil også berøre omkringliggende fagsystemer til NVDB, systemer som vegloggen, bru- og tunellregistre, dekkeregistre mm. Systemer som nytter vegreferansen til stedfesting av informasjon på og langs veg vil bli berørt.

Figur 1. Vegreferansens oppbygging

kommune

Det er gjennomført en miniutredning som er en beskrivelse av hvilke utfordringer en kommunereform gir for NVDB systemet. Utredningen er på et helt overordnet nivå og vil gi oss informasjon til å gå videre med saken.

Rapporten peker bl.a. på behovet for at vegreferansesystemet må løsrive seg fra den administrative inndeling i landet. Konsekvenser av dette må kartlegges i den videre utredning. Rapporten belyser utfordringene ved ulike typer sammenslåinger; Fylkessammenslåing, Kommuner som slås sammen over fylkesgrenser, Kommunesammenslåing innenfor et fylke og Kommunesammenslåing med splitting av kommune. Videre prøver rapporten å si noe om mulige tiltak på kort sikt og mulig langsiktig løsning. I mulighetsstudiene belyses konsekvenser for ER- vegene, F- vegene og KPS- vegene.

Utredningen er kun en grov analyse av konsekvenser. Den ser ikke på et ev. økonomisk omfang og konsekvenser dette vil ha på omkringliggende komponenter.

Utredningen skal ta høyde for at det kan komme ytterligere sammenslåinger i framtiden utover det som er kjent nå. Slik at løsningen som blir valgt er robust nok til å håndtere ev. framtidige endringer i kommunegrenser og regionsgrenser.

Vi tar sikte på å ha en endelig rapport klar innen utgangen av uke 37, den vil da bli tilgjengelig.

NVDB åpne vegdata utviklerkonferanse 2016

Edit 6.9.2016programmet er nå klart

Tid: Fredag 23. September kl 10-15

Sted: Clarion Hotel & Congress, Trondheim

Påmelding

Program

Vi vil i år – som i fjor – avholde en utviklerkonferanse for dere som jobber med utvikling rundt våre åpne data og apier.

Vi driver i disse dager og setter sammen programmet for dagen og ønsker oss at dere som har interesse av å komme svarer på en superkort spørreundersøkelse:

https://no.surveymonkey.com/r/VDH83P8

Det er 3 avkrysningsspørsmål og 2 kommentarfelt – vi setter stor pris på tilbakemelding! Endelig program for utviklerdagen blir sendt ut i løpet av de nærmeste ukene.

Grensesnittene utviklet i åpne vegdata prosjektet:

I 2016 har vi lansert versjon 2 av NVDB lese-api og en utviklerutgave av NVDB skrive-api. Til konferansen håper vi også å kunne presentere en første versjon av et datafangst-api.

Ressurser for utviklere

Følg oss også på twitter @nvdbapi


Vi re-indekserer NVDB api (16.8.2016)

Tilføyelse 17.8.2016: Re-indekseringen er ferdig, og alt ser greit ut så langt. Vi krysser fingrene for at problemene er historie… 

Vi håper inderlig at denne re-indekseringen vil fjerne de problemene vi har hatt i vegnettsfunksjonene til NVDB api’et!

Ulempen er at NVDB api er utilgjengelig i timesvis mens re-indekseringen pågår FERDIG ca 0830 17.8.2016

Vi beklager på det sterkeste ulempene dette gir.

Vi kommer tilbake med mer informasjon så snart vi har den! I mellomtiden er det bare å være tålmodig, og krysse fingrene.

Kjør java-datakatalogen uten nettleser

Den mest komplette visningen av NVDB datakatalog er et javaprogram med MYE raffinert funksjonalitet: Fargekoder for påkrevde egenskaper, søkefunksjon m.m. Programmet har eksistert en del år, og har mange ivrige og dedikerte brukere.

Skjermdump, javaprogram for å vise datakatalogen. Trafikkulykke.
Det gode, gamle javaprogrammet for å vise datakatalogen har MYE god funksjonalitet og mange ivrige brukere.

En del har problemer med å starte datakatalog-viseren fra denne siden:

Tabell med de ulike versjonene av datakatalogen.
De ulike datakatalog-versjonene vises ved å klikke på versjonsnummeret. I dette tilfellet er 2.06 den nyeste.

Siste gyldige versjon av datakatalogen vises ved å klikke på det høyeste versjonsnummeret (2.05, 2.06 og så videre). Da skal følgende skje:

  1. Nettleseren din laster ned en såkalt jnpl-fil. Dette er en tekstfil med nødvendig informasjon, først og fremst lenker til selve programmet (jar-filer).
  2. jnpl-fil åpnes i java web start. De nøvendige komponentene lastes ned.
  3. Java web start fyrer i gang selve javaprogrammet.

På mange PC’er funker ikke lenger dette oppsettet: Nettleseren er ikke satt opp til å fyre i gang java web start, eller det er deaktivert av sikkerhetsgrunner, eller tusen andre årsaker. Å finne ut av dette kan være veldig pirkete, og kanskje har man ikke rettigheter til å gjøre noe med det.

Eksempel på feilmelding som du kan få fra sikkerhetsmekanismene på maskinen din når nettleseren prøver å kjøre .jnlp-filer "Denne filtypen kan skade datamaskinen. Ønsker du å beholde objektliste-218.jnlp likevel?"
Eksempel på feilmelding man får fordi jnlp-filene stoppes av sikkerhetsmekanismene på maskinen din.

Da er det langt lettere å fyre i gang java web start med et vanlig kommanduvindu (cmd.exe, ledetekst). Dette er hele kommandoen for å starte versjon 2.09 av datakatalogviseren:

javaws http://tfprod1.sintef.no/datakatalog/dakat-209.jnlp

Resten tar automatikken bak java web start seg av.

Får du denne feilmeldingen:

javaws gjenkjennes ikke som en intern eller ekstern kommando,
kjørbart program eller satsvis fil.

Så har du ikke java installert, eller du mangler java web start – komponenten. Java får du her.

Ett-klikk start av datakatalogen

Skriv kommandoen over inn i en tekstfil, lagre den med navnet dakat-209.bat, og du har en kjørbar fil du kan klikke på.

Her er en zip-fil med en slik bat-fil: datakatalog-216 Last ned, pakk ut. Denne versjonen er også sukret med et par ekstra kommentarer, pluss at vinduet holdes åpent i 15 sekunder, slik at du ser eventuelle feilmeldinger.

Dernest har vi de vanlige standardtricksene for å få noe lettvint å klikke på: Lagre .bat-fila på skrivebordet, eller lag en snarvei til skrivebord, menylinje eller et annet sted der det er lettvint for deg.

Må jeg ha java?

Mange lever veldig godt med de andre visningene vi har av datakatalogen:

Men det er ikke alle behov som dekkes via disse løsningene. Dette Java-programmet er fremdeles den mest komplette visningen av datakatalogen, og har mange ivrige og kyndige brukere. (Versjon 3 av NVDB api vil tilby alle detaljene, men det gjenstår å bygge gode, lesbare visninger av denne informasjonen)

Fremtidige versjoner

I fremtiden vil nok oppsettet rundt jpnl-filene bli endret; etter hvert vil disse bli flyttet fra server hos sintef til en katalog på www.vegvesen.no. Den offisielle visningen av datakatalogen, inklusive tabellen med lenke til de ulike jpnl-filene, vil du alltid kunne finne her: http://www.vegvesen.no/fag/Teknologi/Nasjonal+vegdatabank/Datakatalogen

Sjekk vegreferanser i kartet

Eksempel på feil i vegreferanseoppslag fra NVDB api'et, Risør Havn.

Dobbeltsjekk vegreferanser med to kilder til NVDB-data! Den blå linja viser avstanden fra kartklikk til vegreferansen fra NVDB api’et. Her i Risør Havn er det åpenbare feil i data fra NVDB api’et

For å bøte på problemet med feil vegreferanser i vegkart har vi laget dette kartet. Klikk i kartbildet, så hentes vegreferanse fra to uavhengige kilder:

Begge kildene har NVDB data, men sommeren 2016 er vegnettsfunksjonene i NVDB api’et ustabile.

Eksempel på feil vegreferanse i vegkart, Risør havn.

I Risør havn får du feil vegreferanse for deler av Fv416. Klikker du nær «g»‘en i Strandgata får du data for en av kommunalvegene lengre sør.

Enda et eksempel fra Risør havn. Jeg klikket litt til side for senterlinja. Blå linje viser avstand fra klikkpunkt til NVDB api, rød linje fra klikkpunkt til visveginfo-tjensten. Det er helt klart noe galt med vegnettet fra NVDB api’et i dette området, mens jeg har full tiltro til data fra Visveginfo-tjenesten.

Enda et eksempel på feil i vegreferanse-oppslag mot NVDB api.

Når du klikker skal du få data for nærmeste veg. Dette ser bra ut for visveginfo-tjenesten (rød linje), men ikke for NVDB api (blå linje).

Slik skal det se ut!

Vegreferanse-oppslag mot NVDB api og visveginfo-tjenesten gir her samme resultat.

Slik ser det ut når det er 100% samsvar i de to tjenestene! Vegreferanse-verdiene er identiske, og rød og blå linje tegnes oppå hverandre, og tilsammen blir en fiolett strek.

Kartet finner du her: http://labs.vegdata.no/vegreferanse/

Krøll med vegnett i NVDB api

Dessverre har det vært mye problemer med NVDB api’et i produksjon. Stabiliteten har vært alt for dårlig. I tillegg viser det seg at vi har rot og krøll med deler av datainnholdet.

I NVDB api’et bruker vi p.t. to separate indekser.

  • Fagdata (fartsgrenser, trafikkmengde, vegreferanse, skiltplate …) Alle NVDB objekter definert i datakatalogen. Alt tyder på at delen av systemet virker som den skal.
  • Vegnettsdata: Vi har en egen indeks for vegnettsfunksjoner. Det er her vi har krøll, datacrash og avvik i for eksempel meterverdier.

Feil i meterverdier i vegkart

Vegkart gjør koordinatoppslag mot NVDB api'et. Fylke 05 blir vist som 50.

Fylke 05 blir her vist som 50. Dette er en irriterende, men ufarlig feil. Verre er det at vi finner tilfeller med feil meterverdi.

Vegnettsfunksjoner omfatter også oppslag fra koordinat til vegreferanse. Noen ganger gir dette feil meterverdi. Denne funksjonen brukes av vegkart; Hver gang du klikker i vegkart så gjøres det oppslag mot denne funksjonen. (eksempel)

Du kan altså ikke stole 100% på den meterverdien du får når du klikker i «vegkart». 

Vegkart har også feil visning av fylkesnummer lavere enn 10: For eksempel blir fylke  5 (Oppland) vist som 50, ikke 05. Akkurat denne feilen er kun irriterende, men totalt ufarlig: Data på fylkesnummer _*er*_ riktig, de blir bare vist litt dumt.

Kan jeg bruke data fra Vegkart / NVDB api?

Ja, vi er ganske trygge på at alle fagdata er korrekte.

Men ikke stol 100% på den meterverdien du får opp når du klikker i kartet.

Hva gjør vi videre?

Akkurat nå er alle fagpersoner på ferie. Vi får ikke gjort noe som helst de neste par ukene. Etter feriedvalen har feilretting høyeste prioritet.

Bruk NVDB api i PowerBI

Med forbehold om at jeg har forstått alt rett — PowerBI er (et av) Microsofts tilbud for lettvint dataanalyse. Takket være twitterbruker @Alslinet har vi nå en vel fungerende oppskrift for å anvende data rett fra NVDB api rett inn i PowerBI.

Selve appen er ikke lenger tilgjengelig  (det hadde vi heller ikke ventet, det var en kjapp test/demo som gikk på gratiskvoten til @Alslinet).

Eksempel fra hvordan man bygger visualisering / dataanalyse med NVDB data i powerBI

Eksempel fra hvordan man bygger visualisering / dataanalyse med NVDB data i powerBI. Takk til Vegard @Alslinet .

Bruksanvisning ligger her. (Evt også som word-vedlegg her: PowerBI og NVDB). Vi har standardtrickset for å laste ned større datamengder i én klump (sette antall = f.eks. 10.000). Dette trickset vil ikke fungere like bra i kommende versjoner av NVDB api – man må gå over til å bruke pagineringsfunksjoner, og det blir jo spennende å se hvor bra dette funker mot tjenester som PowerBI. Ellers må du manuelt fortelle systemet at det skal navigere nedover i JSON-strukturen, samt hvordan du konverterer listen med egenskapsverdier til tabell. En del museklikk per verdi, men i grunnen ikke avskrekkende, er mitt inntrykk.

Tusen takk til Twitter-bruker Vegard @Alslinet for at han vil dele sine erfaringer!

Undertegnede er ikke vel bevandret i PowerBI, men for et geodata-hode er inntrykket at PowerBI har de standardmetodene du forventer for å drille ned i datasettet og se på statistikk per område, fordeling av egenskverdier med mere – koblet mot kartpresentasjon slik at du ser hvilket geografisk område du forsker på.

Hackerangrep og re-indeksering

De siste par dagene har vi hatt to kjipe ting samtidig:

  • http://www.vegvesen.no/om+statens+vegvesen/presse/nyheter/Nasjonalt/massivt-angrep-mot-vegvesenets-ikt-struktur
  • Alle tjenester på vegvesen.no har de siste par dagene vært utsatt for tjenestenektangrep, og derfor utilgjengelige, helt eller delvis. Ett av tiltakene er at tilgangen fra utlandet er blokkert til flere av våre tjenester, for eksempel NVDB api, ruteplantjenesten, datex m.fl. norske IP-adresser en stund fremover — minimum fram til over langhelgen.
  • Vi måtte re-indeksere NVDB api’et i går ettermiddag. Det gir opp til 8 timer med ustabilitet i NVDB api’et.

Vi beklager ulempene.

Hvis IP-blokkeringen gir problemer – ta kontakt, så ser vi på muligheten for å oppheve blokkeringen for din IP.

NodeJS – wrapper for NVDB api

Thomas Alrek har laget en NodeJS-wrapper for NVDB api’et. Data lastes asynkront fra NVDB api. Vi takker aller hjerteligst, og håper dette kan være til nytte for flere, og at vi får se mange gode, snappy webapplikasjoner med NVDB data.

var vegvesenClient  = require("vegvesen");
var vegvesen = new vegvesenClient();
vegvesen.connect(function(){
    vegvesen.vegobjekter.spesifiktVegobjekt(82559833, function(obj){
        console.log(obj);
    });
});

Modulen og kildekoden er tilgjengelig under en GPL-lisens, og er tilgjengelig på github. Der finnes også flere eksempler på bruk, installasjon m.m.