Hvorfor er vegkart og NVDB api uten data?

Tilføyelse 19.08.2013 kl 1106: SOLR ute av drift ca en times tid, oppe igjen ca 1130. 

TILFØYELSE 15.08.2013 kl 0942: Alt virker igjen nå! 

Kortversjonen er at vi har gjort noen brutale erfaringer med hvordan man IKKE skal oppgradere SOLR søkeindeks hvis man skal unngå driftsavbrudd — og ikke minst betydningen av presis dokumentasjon på slike rutiner. Vi har nettopp rullet ut en ny versjon av vegkart og NVDB api’et. Disse tjenestene kjører på flere servere (noder) med lastbalansering. Alt er tilrettelagt for at vi kan oppgradere en node av gangen og dermed ha en ny versjon i gang uten at brukerne merker noe som helst.

Ved denne oppgraderingen har det vært flere ting som har gått galt:

  • Oppgradering av SOLR versjon ble gjort på alle noder samtidig (ikke en av gangen). 
  • Vi opprettet nye datastore, men uten å sikre oss at det var 100% samsvar mellom konfigurasjonsfil for søkeindeks og ny datastore. Når (noen av) søkefunksjonene ikke finner et gyldig datastore så returneres 0 treff.
  • Indeksering av NVDB fra scratch er tidkrevende, det tar opp mot halvannet døgn. (Men dette pleier vi gjøre uten at brukerne merker noe annet enn at dataene er litt ferskere og oppdatert — det er en av grunnene til å ha drift på flere noder samtidig.). Men fordi ny SOLR versjon ble rullet ut på samtlige noder samtidig var vi nødt til å kjøre prosessen fra scratch — på samtlige noder, samtidig. Kombinert med de andre problemene (og litt feilretting og sånn) blir dette fort vekk et driftsavbrudd på flere døgn.

En annen måte å si det på er at vi har brukt beta-perioden aktivt for å perfeksjonere driftsrutiner… Episoder som denne er svært lærerike, og både dokumentasjon og rutiner er nå svært mye mer skuddsikre enn de var på mandag.

Det ironiske er at det er nettopp denne versjonen av api’et som skal sikre at du har ferskest mulige data til enhver tid! Med inkrementell (kontinuerlig) oppdatering av søkeindeksen går det ikke mange sekundene fra oppdatering i NVDB orginaldatabasen til dataene er indeksert og tilgjengelig i nvdb api’et. (Eksakt hvor mange sekunder avhenger av hvor store datamengder vi snakker om, kanskje 10-30 sekunder i de fleste tilfellene og opp mot noen minutter hvis det må re-indekseres mange objekter samtidig).

Lykke til, apps4norge

a4n-logo

Vi gratulerer DIFI og IKT Norge med en glimrende idé som nå er satt ut i livet, og ønsker både deltakere, dataeiere og arrangører lykke til! Å få delta på åpingsseremonien var en sann fryd og fornøyelse. Vegvesenet har foreløbig  registrert fem datasett på http://data.norge.no/organization/statens-vegvesen.

Vi var litt i tvil om vi burde fortelle om vårt nye REST api mot NVDB på åpningen, men kom fram til at denne anledningen var for god til å gå glipp av: Alt tyder på at vi kan gi full tilgang til betaversjonen fra starten av mars, og det gir halvannen måned til å implementere fantastiske løsninger. Samtidig må vi ta et lite forbehold: Endelig beslutning om lanseringsdato tas 15/2 2013.

Her finner du video og pdf fra vegvesenets dataeier-presentasjon under åpningen av apps4norge.

Internt i vegvesenet har det vært – og er –   en prosess hvor «eierne» av de ulike typene data får komme med innsigelser. For eksempel protesterte trafikksikkerhet-fagmiljøet mot å legge ut data om fotoboksene (ATK punkt). De var bekymret for hvordan teknologien nå bidrar til såkalt  «kengurukjøring». Argumentet er at når fagmiljøet ikke vet nok om hvordan dette påvirker trafikksikkerheten så skal vegvesenet være litt tilbakeholdne med å legge ut kvalitetssikrede data med koordinater og kjøreretning for fotoboksene. (Ja, vi er fullt klar over at det er fritt salg av app’er og GPS dingser med fotoboksvarsling, men inntil videre vil ikke de kunne oppdatere sine fotoboksdata via REST api’et). Noen datatyper kan også bli unntatt fra publisering fordi kvaliteten varierer for mye – men det er selvsagt en viktig drivkraft for å kvalitetsikre de objektene dette gjelder. Denne dugnaden er allerede i gang.

Vi oppforder også alle som lager applikasjoner om å tenke trafikksikkerhet.

Vær ditt ansvar bevisst, både som utvikler og bilfører! Husk at bilførere skal kjøre bil, ikke fikle med mobiltelefon – det kan ha katastrofale følger! Bilkjøring er krevende, og det er viktig å følge med på det som skjer i trafikken. Mange ulykker skjer fordi føreren tar blikket bort fra vegen og trafikken.

For oss som jobber med NVDB til daglig så er det mest spennende at dette  ikke er en ren publiseringsløsning – det er første steg for å modernisere grensesnittene rundt NVDB. Når du tar i bruk REST api’et jobber du direkte mot det samme grensesnittet som vegvesenet, entreprenører og andre profesjonelle skal ta i bruk. Dette er nettopp åpen forvaltning i praksis, slik Even Westvang oppfordret til i sitt innlegg på åpningen av apps4norge. Vi anbefaler at du ser  videoen av ham, her er det mange gullkorn.

Med det nye REST api’et innfører vegvesenet åpen forvaltning av Nasjonal vegdatabank