Kansikuva

Tiedostopohjaiset integraatiototeutukset

Julkaistu 05.03.2023

Sisällysluettelo

Kun henkilöllä tai yrityksellä ilmenee tarve siirtää dataa automatisoidusti järjestelmien välillä, niin tällöin ratkaisuna toteutetaan useimmiten niin sanottu integraatio. Sana integraatio tulee englannin kielen sanasta integration, jolla tarkoitetaan yhteensovittamista tai -liittämistä. Nykyään tiedonsiirtototeutuksia kutsutaan pitkälti integraatioiksi, mutta ennen vanhaan niitä kutsuttiin myös liittymiksi, joten oletkin joskus saattanut kuulla jonkun sanoneen, että ”rakennetaan liittymä järjestelmään X”.

Teknisesti ilmaistuna integraatio on ohjelmistoratkaisu, joka siirtää tietoa kahden tai useamman järjestelmän välillä. Yksinkertaisimmillaan integraatio voi olla ohjelmistoratkaisu, jolla siirretään tiedosto sovittuna hetkenä paikasta A paikkaan B. Mutta vaikka yksinkertaisimmillaan puhutaan vain tietojen siirtämisestä paikasta A paikkaan B, silti suunnittelu on tässäkin asiassa kaiken A ja O, mikä käy ilmi seuraavissa kappaleissa.

Yksinkertaisesta esimerkistä huolimatta integraatioita voidaan kuitenkin kehittää erilaisia ja ne sisältävät usein myös datan muokkaamista haluttuun muotoon, mikä on usein se haastavampi osuus toteutuksesta. Integraatiot usein noudattelevatkin ETL-prosessille ominaista kaavaa eli tiedot poimitaan (Extract) lähdejärjestelmästä, jonka jälkeen ne muokataan (Transform) haluttuun muotoon ja lopuksi ladataan (Load) kohdejärjestelmään.

Integraatioita voidaan toteuttaa erilaisilla teknologioilla, mutta tämä artikkeli käsittelee tiedostopohjaisia integraatiototeutuksia, jotka toteutetaan usein FTP- tai SFTP-tiedonsiirtotekniikoita käyttäen.

FTP- ja SFTP-tiedonsiirtotekniikat

Tiedostopohjaisista tiedonsiirtototeutuksista puhuttaessa tarkoitetaan pääsääntöisesti FTP- ja SFTP-protokollilla toteutettuja siirtoja. FTP lyhenne tulee sanoista File Transfer Protocol ja S-kirjaimella lyhenteen edessä tarkoitetaan SSH-protokollaa, jolla suojataan FTP-siirto salauksella. Salauksen käyttöönottamiseksi on hankittava TLS/SSL-sertifikaatti/varmenne ja asennettava se FTP-palvelimelle.

FTP-siirron suojausta edellytetään usein tiedonsiirtototeutuksissa, joissa siirretään esimerkiksi henkilötietoja. Näissä tapauksissa tiedonsiirto toteutetaan SFTP-protokollaa hyödyntäen, ellei yhteyttä suojata, jollain muulla riittäväksi todetulla tavalla, kuten esimerkiksi VPN-tunnelilla.

Tiedostosiirtoja voidaan toteuttaa myös ilman edellä mainittuja protokollia esimerkiksi tietoliikenneverkon sisällä, mutta jos tiedostoja on tarpeen siirtää tietoliikenneverkon ulkopuolelle, niin tällöin tulee käyttää FTP- tai SFTP-tiedonsiirtotekniikoita.

Kuva 1 - Esimerkki SFTP-siirrosta integraatioalustan avulla - Huom. Klikkaa kuva suuremmaksi!

Integraation suunnittelu

Integraation suunnittelu on teknistä määrittelytyötä edeltävä prosessi, jonka yhteydessä pyritään vastaamaan integraation toteutukseen liittyviin kysymyksiin sekä arvioimaan mahdolliset integraation toteuttamiseen liittyvät kustannukset. Integraation kustannuksiin voi vaikuttaa esimerkiksi tilaajan ja/tai toteuttajan osaaminen, toimintaympäristön riippuvuussuhteet, dokumentaation taso, tilaajan maksukyky sekä toteutusajankohta ja toteutusaikataulu.

Mikäli siirtotyö toteutetaan organisaation omilla resursseilla ja työkaluilla, siirtotyötä voidaan lähteä toteuttamaan matalammalla kynnyksellä ja kevyemmällä määrittelyllä, mutta mikäli siirtotyö toteutetaan toimittajayrityksen toimesta, on syytä suunnitella ja määritellä siirtotyö sekä siihen liittyvät vastuut mahdollisimman tarkasti, jotta toteutus sujuu jouhevasti ja kustannustehokkaasti ja mikäli korjaustarpeita ilmenee käyttöönoton jälkeen, niin korjausvastuut ovat tiedossa.

Integraation suunnittelussa vastataan ensin perustavanlaatuiseen kysymykseen; miksi integraatio toteutetaan? Mikäli integraatio koetaan hyödylliseksi toteuttaa, tämän jälkeen voidaan lähteä pohtimaan vastauksia toteutukseen liittyviin kysymyksiin aihealueittain. Näitä aihealueita ja niihin liittyviä kysymyksiä on listattu kuvaan 2.

Kuva 2 - Integraatioiden suunnittelukysymykset - Huom. Klikkaa kuva suuremmaksi!

Integraation tekninen määrittely

Integraation tekninen määrittely on keskeinen osa integraation toteutusprosessia ja oikein tehtynä se osaltaan varmistaa, että suunniteltu integraatio tulee oikein toteutetuksi ja kestää muutoksia. Tiedostopohjaisissa tiedonsiirtototeutuksissa tulee määritellä mm.;

  • aineistomuunnostarpeet
  • aineistojen nouto- ja työntöketjut
  • lähde- ja kohdepalvelimen tiedot
  • siivous- ja varmuuskopiointiprosessit
  • tiedonsiirron laukaisutapa
  • toteutusaikataulu

Näitä teknisiä määrityksiä on kymmeniä ja kokemattomampi integraation toteuttaja ei välttämättä näitä tunnista tai tule huomioineeksi. Esimerkiksi, jos tiedostojen siivousproseduureja ei määritellä, niin kohdepalvelin voi täyttyä tarpeettomista tiedostokopioista ja täten viedä tarpeettomasti muistia palvelimelta, mikä voi puolestaan käydä kalliiksi. Vältä sudenkuopat ja suorita tekninen tiedonsiirtomäärittely Iltanen Consultingin laatiman tiedonsiirron määrittely- ja tilauslomakkeen avulla.

Integraatiovastuiden ja valvontaprosessien määrittely

Tiedonsiirtototeutuksissa on syytä huomioida myös toteutuksen jälkeiset ylläpito- ja seurantavastuut, sillä ajoittain kun integraatioon liitännäisiä järjestelmiä päivitetään, integraatio saattaa lakata toimimasta ja jos vastuut eivät ole selvillä, niin integraation korjaus voi olla hankalaa, hidasta ja kallista.

Integraation valvomiseksi on myös kannattavaa toteuttaa erilaisia valvonta- ja ilmoitusprosesseja, joiden myötä integraatiovastaavalle lähtee viesti, mikäli integraation suoritus on esimerkiksi keskeytynyt tai aineisto on puutteellinen.

Myös hiljaisuutta voidaan valvoa tarkastelemalla onko siirrettävää aineistoa generoitunut määritellyllä aikajaksolla. Integraatiosuoritusten valvontaa voidaan toteuttaa siirtoprosessista vastaavan integraatioalustan lisäksi myös lähde- ja kohdejärjestelmissä. Lähdejärjestelmään voidaan esimerkiksi ohjelmoida valvontaprosesseja seuraamaan, onko aineistoa generoitunut järjestelmästä ja kohdejärjestelmä voidaan puolestaan ohjelmoida tarkastelemaan, onko aineistoa sisäänluettu järjestelmään.

Kuva 3 - Valvontaprosessit ETL-prosessin eri vaiheissa - Huom. Klikkaa kuva suuremmaksi!

Valvontaprosessien ohjelmointi on kuitenkin myös oma työnsä ja niitä toteutetaan lähtökohtaisesti tarpeiden mukaisesti. Yleensä, mitä kriittisempi integraatio on kyseessä, sitä enemmän sen toteutumisen ympärille rakennetaan valvontaprosesseja.

Integraation toteutus ja testaus

Integraatiot, kuten tiedostosiirrot toteutetaan usein integraatioalustaa hyödyntäen, mutta tiedostosiirtoja toteutetaan myös muilla tavoin, kuten palvelimella suoritettavien skriptien avulla. Tiedostosiirtojen toteutus integraatioalustan avulla on usein yksinkertaisempaa, koska tällöin käytettävissä on usein graafinen käyttöliittymä, kun taas skriptejä laadittaessa toteuttajalta tulee löytyä syvällisempää ohjelmointi- ja palvelinpuolenosaamista.

Itse integraation toteutus kattavasti laadittujen suunnitelmien ja teknisten määrittelyjen pohjalta on melko suoraviivaista, sillä dokumentaation ollessa kunnossa ja saatavilla, tiedot poimitaan melkeinpä suoraan siirtolomakkeelta integraatioprosessiin.

Integraatioprosessiin ohjelmoidaan vähintäänkin lähde- ja kohdepalvelimen osoitteet, tunnukset sekä portit, mutta muuten prosessin ohjelmointi voi vaihdella suurestikin. Esimerkiksi integraatioprosessin laukaisutapa voi olla ajastettu tai perustua lähdehakemiston pollaukselle. Pollauksella tarkoitetaan prosessia, jossa integraatioalusta kyselee teknisesti lähdehakemistolta, onko siirrettävää aineistoa ja jos on, niin siirtoprosessi laukaistaan.

Integraatioprosesseja voidaan toteuttaa ja testata tapauksen mukaan tuotanto- ja testiympäristöissä. Lähtökohtaisesti integraatioiden toimivuus on suositeltavaa testata testiympäristöjen avulla, mutta aina testiympäristöt eivät ole käytettävissä, joten testaus on tällöin suoritettava tuotantoympäristön puolella. Integraatioita testatessa tuotantoympäristöjen puolella, on syytä varmistaa, että lähde- ja kohdejärjestelmiin liittyvät integraatioprosessit ovat keskeytettyjä, jotta testiaineistoa ei pääse vahingossa tuotantoputkiin. Testitiedostoina kannattaakin käyttää esimerkiksi yksinkertaisia ja tyhjiä tekstitiedostoja, joilla saa esimerkiksi varmistettua, että tiedosto siirtyy haluttuun paikkaan.

Tuotantoon siirtyminen

Kun integraatio on toteutettu ja testattu, on aika siirtää integraatio tuotantoon. Integraation tuotantoon siirtäminen onnistuu usein liiankin helposti ns. nappia painamalla, mutta integraatiota siirrettäessä tuotantoon tulee ensin varmistua siitä, että integraatio toimii oikein sekä että lähde- ja kohdepalvelimet sekä sidosryhmät ovat valmiita tuotantoon siirtymiseen. Tuotantoon siirtymisessä myös sidosryhmäviestintä on oleellisessa roolissa, jotta osapuolet pysyvät ajan tasalla muutoksista.

Kun integraatio on siirretty onnistuneesti tuotantoon, prosessi voidaan dokumentoida organisaation dokumenttienhallintajärjestelmään esimerkiksi integraatiokortin muodossa, jotta tulevaisuudessa on selvää, miksi ja miten integraatio on aikoinaan toteutettu.

Palvelumme

Oletko joskus miettinyt, että olisi kiva, kun yrityksesi järjestelmät keskustelisivat keskenään tai onko tiedossasi mahdollisesti jokin prosessi, jonka voisi automatisoida integraation avulla? Ota meihin yhteyttä, niin mietitään teidän yrityksellenne soveltuvimmat ratkaisut.

Voimme toteuttaa integraatiot puolestanne tai voimme avustaa niiden suunnittelussa, määrittelyssä sekä toteuttamisessa. Voit lukea lisää integraatiopalveluistamme täällä tai voit ottaa suoraan yhteyttä meihin esimerkiksi soittamalla numeroon 0449742653.

Nopea eteneminen
  1. Täytä tiedonsiirtolomake ja lähetä se osoitteeseen klaus.iltanen@iltanenconsulting.fi.
  2. Toimitamme sinulle työ- ja kustannusmääräarvion integraation toteuttamiseksi.
  3. Hyväksyt tarjouksen ja toteutamme integraation.

Yhteydenotto on riskitöntä, sillä mikäli toteamme, että emme pysty auttamaan sinua ongelmassasi, emme veloita mitään. Otamme nämä tapaukset oppimiskokemuksina, emmekä täten veloita opiskelustamme teitä.

Ota yhteyttä