Piki irti ja puhtaaksi eli tietokantasiivousta Tamperella

Kansalliskirjaston kuvailun tiedotuspäivillä 20.3. Tarja Mäkinen ja Mace Ojala ovat puhuneet kirjastojen tietokantojen laadusta. Ilmeisesti tilaisuutta ei kokonaisuudessaan videoitu, joten meille poissaolleille keskustelun sisältö näyttää jäävän arvoitukseksi. KK:n sivulta löytyy kuitenkin molempien alustukset ja muualta verkosta Macen varsinainen raportti Piki-tietokannan siivousmenetelmistä, joka onkin varsin kiinnostavaa luettavaa. Ja paikoin hidasta luettavaa, koska ilman ohjelmointitaitoja saa merkkejä tuijottaa hetkisen, ennen kuin koodeista muodostuu jotain, joka voi päänsisäisissä prosesseissa kääntyä yleiskirjastoa puhuvan ajatustasolle.

Kyseessä oli kahden kuukauden projekti, jonka tavoite oli ”parantaa PIKI-kirjatojen bibliografisen tietokannan laatua ja kehittää kirjastojärjestelmän ulkopuolisia, tietoteknisiä menetelmiä sen tekemiseen”. Kysymys herääkin oitis: miksi tietokannan ulkopuolisia menetelmiä, miksi muutoksia ei voisi tehdä suoraan tietokantaan?

Projekti meni suoraviivaistaen näin: PIKI-tietokannasta otettiin ulos dumpiksi sanottu tietueet sisältävä datapaketti, jota Mace pyöritti eri vinkkeleistä, haki virheitä, epäloogisuuksia, puutteita eli suoritti louhintaa ja analysointia. Toinen kysymykseni koskeekin seuraavaa oletettua loogista askelta: miksi siivottua dataa ei voitu laittaa takaisin tietokantaan?

Kylmä hiki selässä raporttia lukee kuin jännitysromaania - timanteista voi haaveilla, mutta tässä louhinnassa tulee pahaa tulosta. Dataa tutkittiin eri näkökulmista: teknisessä tarkastuksessa tutkittiin ovatko tietueiden koodit käytetyn MARC21-formaatin mukaisia. Sitten selvitettiin kenttiin merkittyjä arvoja ja arvojen paikkansapitävyyttä. Selvisi, että tietokannassa on esim. tietueita, joilta puuttuu kokonaan nimiö tai 008-informaatiokoodikenttä jota ei saa (ja toivottavasti ei voi) toistaa. Kenttien sisältöä on koneellisesti vaikeampi tutkia, mutta siitäkin voi selvittää esim. päivämääriä, joita ei tietueissa pitäisi olla, esimerkiksi vuodelle 2102 julkaistuksi merkitty Valtaojan uutuus. Mitä veikkaatte, onko copyright-tieto merkitty jokaisessa tietueessa samalla kirjoitusasulla? Vastaavatko kielikoodit Kansalliskirjaston listaa? Onko kontrolloimattomien asiasanojen kentässä myös kontrolloituja asiasanoja? Ei, ei, kyllä. PIKI:ssä on käytössä 25 sijaintipaikkaa, erilaisia sijaintipaikkakoodeja tietokannasta löytyi noin 2000 erilaista versiota.

No mitä sitten, jos joku kielikoodi ei ole oikein, ja kyllähän sitä ymmärtää jos vuosi on vahingossa kirjoitettu väärin. Mutta tylsämielinen apparaatti, joka orjallisesti tekee mitä käyttäjä pyytää, ei ainakaan vielä osaa päätellä Valtaojan liittyvän vuoteen 2012 vuosien 1013 ja 2103 - tai Konnun - sijaan, ja antaa hienosti muotoiltuun hakuun ikävän tuloksen nolla - tai pahempaan, olipa kysyjä kirjaston virkailija tai Pirkko kotikoneellaan.

Palataan siis laatuun. Kirjastojenkin tietokantojen laatuun pätee Macen lainaamien Ken Gleasonin ja Q. Ethan McCallumin mukaan on neljän ceen juttu:

1. Complete (is everything here that’s supposed to be here?)
2. Coherent (does all of the data “add up?”)
3. Correct (are these, in fact, the right values?)
4. aCcountable (can we trace the data?)

Mitä mielenkiintoista omasta tietokannasta löytyisi? Olisiko data siistiä ja oikeanlaista? 

 givepeaceachance http://www.everystockphoto.com/photo.php?imageId=2227513&searchId=4c85b3625c95b8bf313d47934599eef5&npos=4

Palapelien turmiollinen vaikutus

Minulla on epäsosiaalinen mutta buddhalainen harrastus, kokoan isoja palapelejä ja puran ne taas odottamaan seuraavaa kierrosta. Turmiolliseksi harrastus muuttui huhtikuun sunnuntaina, kun suuntasin vintille hakemaan jälleen yhtä peliä. Reipas askellus vaihtui köpöttelyksi, kun otin kontaktia lattialankkuun ja sain sairaalasta mukaan raudalla paikatun jalan, kipsin ja kolmen kuukauden sairausloman.

http://www.flickr.com/photos/bradmontgomery/4363410868/ 

En tiedä osoitinko hyviä alaistaitoja vai olinko itsekäs ja laiska, mutta en tuon kolmen kuukauden aikana juuri ajatellut kirjastotyötä, kirjastojärjestelmiä tai projekteja.

Viisi päivää sitten palattuani töihin totesin, ettei fanittamani ajattelija Marshall Breeding sen sijaan ollut laiskotellut, vaan oli tuottanut Computers in Libraries -julkaisuun artikkelin New LibraryCollections, New Technologies: New Workflows.

Kirjastojärjestelmät ovat muutoksessa - eikä muutos tule loppumaan mikäli Breedingin väliotsikointiin -Ever-turning cycles of technology - uskoo. Edellinen muutos palvelin/työasema-ratkaisuun ei juuri muuttanut itse järjestelmiä ja niiden perusratkaisuja. Uusimmassa kierroksessa sen sijaan on kyse rajummista muutoksista: SaaS eli ohjelmien hankkiminen palveluina tai pilvipalveluina, uudet teknologiset pohjaratkaisut, elektronisten aineistojen lisääntyvä määrä, on-demand-julkaisu, käyttäjien uudet odotukset ja parempien arviointityökalujen tarve.

Uudentyyppisiä järjestelmiä Breeding kutsuu nimellä Library services platform, vapaasti suomentaen kirjastopalvelualusta - ajatukset palaavat jälleen modulaarisen ja integroidun järjestelmän kysymyksiin.

Koska tarpeellisia uusia palveluita ei nykyisistä järjestelmistä löydy, ovat kirjastot koonneet palvelutarjontansa useista erillisistä palikoista. Yleiset kirjastot eivät ole elektronisten aineistojen hankinnassa vielä yhtä pitkällä kuin akateemiset kirjastot, mutta kyllä erillisiä alustoja meiltäkin löytyy: monipuolinen Pohjanportti - mistä muuten löytyy myös Ebscon kautta Breedingin artikkeleita kokotekstinä - joka kuitenkaan ei ole Lapin kirjaston verkkopalvelun kautta haettavissa.

Kesäteräiset aivot herättää Breedingin kysymys voisiko kokoelmien käsittelyyn löytyä tehokkaampia tapoja uusien kirjastojärjestelmien avulla, jotka eivät erottele aineistojen käsittelyä perinteisesti niin jyrkästi erillään oleviin elektronisiin ja painettuihin aineistoihin. Hänen mukaansa erilliset automaatioalustat yleensä pakottavat erillisiin prosesseihin ja työn hajauttamiseen eri henkilöiden vastuulle. Nykyjärjestelmien valmiuksista johtuen aineistot myös tarjoillaan asiakkaille myös erillisillä alustoilla.  Pohjanportti on kotikimpasta löytyvä hyvä esimerkki - todella paljon aineistoja, mutta eivät haettavissa Lapin kirjaston verkkopalvelussa muiden kirjastojen aineistojen rinnalla.

Hyvillä mielin voi sen sijaan todeta, että UKJ:ssa, Uuden kirjastojärjestelmän valmistelutyössä on pystytty katsomaan Sotsin talviolympialaisia pitemmälle. UKJ:n hankinta-työryhmät totesivat vajaan vuoden työskentelyn jälkeen, ettei hankintaa kannata jakaa painetun ja elektronisen aineiston prosesseihin vaan kyseessä on prosessipolku, josta välillä poiketaan tarkastamaan valintalistojen tilannetta, mitä lehtiä osastot haluavat tilata tulevaksi vuodeksi ja aktivoimaan elektronisia aineistoja. Sitten palataan yhteiselle polulle, joka vie kunnan taloushallinnon kautta kepeästi tarkalleen loppuun käytettyyn budjettiin. Joo, viimeinen palanen on Utopiaa, johon sairauslomalaisetkin aivot taipuvat.