Kirjoittajat: Annu-Riina Lamberg ja Jyrki Suomala, Laurea ammattikorkeakoulu
Prosessin arvioinnin tarkoitus on kerätä tietoa hankkeen toimeenpanosta ja toteutuksesta, mutta lisäksi oppia ja kehittää hankkeen toimintaa eteenpäin. Tässä artikkelissa kuvataan DIGISTI-hankkeessa toteutettua prosessin arviointia sekä viimeisen itsearviointikyselyn tulokset.
DIGISTI – Digitaidot haltuun toisella asteella -hankkeessa pyrittiin vahvistamaan haastavimmassa asemassa olevien nuorten digitaitoja ja sitä kautta edellytyksiä hakeutua työelämään tai jatko-opintoihin. Lisäksi hankkeen tavoitteena oli rakentaa merkityksellisiä kohtaamisia ja yhteisöllisyyttä opiskelijoiden, opettajien ja ohjaajien kesken. Hankkeessa myös tuettiin opetus- ja ohjaushenkilökuntaa yksilöllisten ratkaisujen etsimisessä opiskelijoiden haasteisiin.
Hankkeen toimeenpanon ja prosessin arvioinnissa hyödynnettiin 3×3-mallia (Björkqvist & Niemi, 2020). Mallin mukainen arviointi toteutetaan kolmesti hankkeen aikana. Hankkeen alussa arviointi keskittyy hankkeen tavoitteiden, odotettujen tulosten ja toimenpiteiden tarkasteluun ja niiden peilaamiseen toisiinsa. Hankkeen keskivaiheilla arvioinnilla tehdään tilannekatsaus ja tarpeen mukaan kehitetään työskentelyä. Hankkeen lopussa arvioidaan hankkeen tulokset ja hyödyntämismahdollisuudet. Mallin mukaisen arvioinnin keskeisimpiä osia ovat itsearviointikysely ja arvioinnillinen työpajatyöskentely. (Björkqvist & Niemi, 2020.)
DIGISTI-hankkeen aikana toteutettiin kolme kertaa hankehenkilöstön itsearviointikysely sekä itsearvioinnillinen työpaja. Kyselyissä selvitettiin projektin suunnitelmallisuuteen ja organisoitumiseen, hankkeen toimenpiteisiin, yhteistyöhön sekä hankkeen seurantaan, arviointiin ja oppimiseen liittyviä asioita. Itsearvioinnillisissa työpajoissa keskusteltiin itsearviointikyselyn tuloksista ja tehtiin erilaisia itsearvioinnillisia tehtäviä fasilitoidusti. Prosessin arvioinnin toteutti Laurea-ammattikorkeakoulu. Tässä artikkelissa esitellään hankkeen lopussa toteutetun viimeisen itsearviointikyselyn tulokset.
Viimeisen itsearviointikyselyn tulokset
Hankkeen viimeinen itsearviointikysely toteutettiin elokuussa 2023 ja siihen vastasi 8 hankkeen työntekijää. Kysely sisälsi 19 väittämää, joihin vastaajat ottivat kantaa viisiportaisella asteikolla (1 = Täysin eri mieltä; 5 = Täysin samaan mieltä). Väitteet esitettiin myönteisesti, joten 5 tarkoitti sitä, että hanke oli onnistunut väitteen kannalta erittäin hyvin. Vastaavasti 1 tarkoitti vastaajan mielestä sitä, että hanke ei kyennyt pääsemään esitetyn väitteen tavoitteeseen. Kaiken kaikkiaan väittämien keskiarvojen keskiarvo on 3,7. Kun väittämiä tarkastellaan kokonaisuutena (8 vastaajaa ja 19 väitettä on yhteensä 152 väitettä), havaitaan, että arvoja 1 oli valittu vain 4 kertaa, kun taas arvoja 5 oli valittu peräti 27 kertaa. Aineiston perusteella voidaan siis päätellä, että vastaajat olivat olleet varsin tyytyväisiä DIGISTI-hankkeeseen.
Taulukko 1 esittää itsearviointikyselyn väitelauseiden vähiten ja eniten pisteitä saaneet väitteet. Väitteet “Hankkeen tavoitteet olivat selkeät” ja “Hankkeen toimijoilla oli yhteinen käsitys siitä, mitä oltiin tekemässä” saivat keskiarvoksi 2.75. Näiden väitteiden pistemäärä oli siis alhaisin kyselyssä. Kuten monialaisissa projekteissa usein, niin tässäkin näyttää siltä, että projektin käynnistyessä kannattaa panostaa tavoitteiden kirkastamiseen kaikkien toimijoiden kesken. Kaiken kaikkiaan näidenkin väitteiden tulokset olivat kuitenkin lähellä keskiarvoa.
Väitelauseet “Toimintaa kehitettiin arviointitiedon pohjalta”, “Hankkeen laadullinen seuranta oli hyvää” ja “Hankkeessa on saavutettu hyviä tuloksia kuluneen vuoden aikana” saivat kukin keskiarvoksi 4.125, jota voidaan pitää erinomaisena tuloksena. Lisäksi eniten pisteitä (4.25) saanut väite “Hankkeen määrällinen seuranta oli hyvää” antaa viitteitä siitä, että vastaajat olivat tyytyväisiä hankkeen aikana toteutettuun arviointiin ja sen hyödyntämiseen. Nämä tulokset vahvistavat näkemystä siitä, että omaa toimintaa on tärkeää arvioida hankkeen aikana, ja se mahdollistaa toiminnan tehostamisen arviointitiedon pohjalta.
Taulukko 1. DIGISTI-hankkeen kolmannen itsearviointikyselyn väitelauseiden vähiten ja eniten pisteitä saaneet väitteet. N=8
Itsearviointikyselyssä oli väitemuotoisten määrällisten kysymysten lisäksi myös avoimia kysymyksiä, joissa hankkeen toimijat pääsivät antamaan vastauksensa omin sanoin. Kyselyn avoimissa kysymyksissä selvitettiin hanketoimijoiden näkemyksiä hankkeen vahvuuksista ja onnistumisista sekä haasteista ja epäonnistumisista. Useissa vastauksissa nostettiin esiin hankkeen onnistumisena nuorten kanssa toteutettu ruohonjuuritason toiminta ja vahvuutena toiminnan muotoilu nuorisolähtöisesti. Hankkeen katsottiin olleen moninäkökulmainen ja tarjonneen paljon erilaisia toimintamuotoja, säilyttäen kuitenkin osallistujakeskeisen työotteen toiminnan suunnittelussa. Yksityiskohtana nostettiin esiin muun muassa hankkeen Helabaloo-lopputapahtuma, joka toteutettiin nuoria osallistavasti.
Toinen toistuva teema liittyen hankkeen onnistumisiin oli oppilaitosyhteistyö ja toiminnan räätälöinti oppilaitosten tarpeisiin. Erityisen onnistuneeksi koettiin se, että hanke onnistui pääsemään mukaan oppilaitoksissa jo meneillään olevaan kehitystyöhön ja kehittämään jo olemassa olevia työkaluja, kuten digitaalista portfoliota. Meneillään oleviin kehitysprosesseihin kytkeytyminen koettiin mahdollisesti onnistuneeksi siksi, että silloin hanketyö ei jää erilliseksi kohdeorganisaation arjesta ja sillä on näin paremmat edellytykset juurtua ja jatkua hankkeen päättymisen jälkeen.
Hankkeen haasteisiin liittyen ylivoimaisesti eniten nostettiin esiin hankkeen kohderyhmän tavoittamiseen liittyneet haasteet. Vastaajat kokivat, että kohderyhmän rekrytointiin ja verkostojen rakentamiseen meni hankkeen alussa liikaa aikaa ja varsinainen toiminta jäi osin kevyeksi. Useampi vastaaja oli sitä mieltä, että hankkeessa oli mukana liikaa kohdeoppilaitoksia ja olisi voinut olla hedelmällisempää keskittyä vain yhteen tai kahteen oppilaitokseen. Lisäksi pohdittiin, että oppilaitosten olisi kannattanut olla vahvemmin mukana alusta asti ja mahdollisesti mukana esimerkiksi toteuttajatahon roolissa. Vastauksissa korostettiin, että oppilaitosten johtohenkilöiden kanssa neuvottelu ja hankkeen toiminnan integroiminen oppilaitoksen strategiaan on tärkeää koko hanketoiminnan ajan.
Toinen useammin hankkeen haasteena esiin nostettu teema oli hankkeen työpakettien välinen yhteistyö ja koordinaatio. Hankkeessa oli monta osatoteuttajaa ja osa kyselyyn vastanneista oli sitä mieltä, että osatoteuttajien työpaketit jäivät toisistaan irrallisiksi ja yhteistyötä tehtiin lopulta vain vähän. Yksi vastaaja oli sitä mieltä, että jo hankevalmistelussa olisi kannattanut tarkemmin linjata, mitä ollaan yhteisesti tekemässä. Työpakettien erillisyyden ja toiminnan monimuotoisuuden vuoksi vastaajat kokivat, että hankkeesta oli vaikea koostaa yhteisiä hankeoppeja, johtopäätöksiä tai malleja lopputulokseksi. Työpakettien välistä yhteistä ajatuksenvaihtoa ja punaisen langan hahmottelua olisi vastaajien mielestä voinut olla vielä enemmän hankkeen aikana. Nämä vastaukset ovat samansuuntaisia hankkeen tavoitteiden selkeyteen ja yhteiseen ymmärrykseen liittyvien määrällisten kysymysten vastausten kanssa. Kyselyssä juuri nämä väitelauseet saivat alhaisimmat pistemäärät.
Lopuksi
Hankkeiden etenemistä ja prosessia on tärkeä arvioida, koska prosessista oppiminen mahdollistaa korjausliikkeet ja auttaa tekemään hankkeita tehokkaammin ja vaikuttavammin. DIGISTI-hankkeen kolmannen ja viimeisen itsearviointikyselyn tulosten perusteella vastaajat kokivat hankkeen mielekkääksi. Kyselyn määrällisessä osuudessa nousi esiin, että hanke eteni pääosin hyvin. Vaikka yhteisten tavoitteiden hahmottamisessa olisi voinut olla parantamisen varaa, projektin aikana pystyttiin kehittämään toimintaa arviointitiedon pohjalta ja hankkeessa saavutettiin hyviä tuloksia kuluneen vuoden aikana.
Itsearviointikyselyn avoimissa kysymyksissä vastaajat kertoivat, että ruohonjuuritason toiminta ammatillisissa oppilaitoksissa ja opiskelijoiden vahvuuksia korostava toiminta teki hankkeesta tärkeän ja mielenkiintoisen ja siksi se koettiin merkitykselliseksi myös hanketyöntekijän näkökulmasta. Kaiken kaikkiaan hankkeen koettiin vastanneen oikeaan ongelmaan ja oikeaan aikaan: digi- ja työnhakutaidot ovat nyt ja tulevaisuudessa tärkeitä kansalaistaitoja. Työtä niiden vahvistamista on siis tärkeä jatkaa myös hankkeen jälkeen.
Lähteet
Björkqvist, L., & Niemi, J. (2020). Arviointi kehittämisen ja johtamisen välineenä – Kulttuurituotannon työpapereita. Metropolia Ammattikorkeakoulun julkaisuja. https://www.theseus.fi/bitstream/handle/10024/345962/2020%20TAITO%2058%20Arviointi%20kehitt%C3%A4misen%20ja%20johtamisen%20v%C3%A4lineen%C3%A4.pdf?sequence=2
