Zasady zarządzania projektem eLearningowym - Ewaluacja
Moduł Zasady zarzadzania projektem eLearningowym skupia uwage na technikach prowadzenia projektów. W szczególnosci opisuje kluczowe fazy rozwoju projektu. Opisuje sposoby jego prowadzenia, podkreśla także znaczenie odpowiedniej dokumentacji potrzebnej do prowadzenia projektu.
Określenie celu edukacyjnego modułu
Celem modulu jest zapoznanie się bliżej z fazą ewaluacji projektu eLearningowego. Faza Ewaluacji odpowie nam na pytania dotyczące jakości dydaktycznej i pedagogicznej naszego szkolenia.
Wiedza bazowa potrzebna do pracy nad modułem
wersja multimedialna | wersja do druku |
Ewaluacja
Ewaluacja to systematyczne badanie wartości albo cech konkretnego programu, planu, działania (eksperymentu) bądź obiektu (programu komputerowego, programu nauczania, lekarstwa, rozwiązania technicznego) z punktu widzenia przyjętych kryteriów, w celu jego usprawnienia, rozwoju lub lepszego zrozumienia.
Walidacja oprogramowania
W naukach technicznych i informatyce walidacja to działanie mające na celu potwierdzenie w sposób udokumentowany i zgodny z założeniami, że procedury, procesy, urządzenia, materiały, czynności i systemy rzeczywiście prowadzą do zaplanowanych wyników.
Innymi słowy, Walidacja to proces badania czy program osiągnął
cele, do których był wytworzony.
W naszym przypadku, gdy dotyczy szkolenia eLearningowego, walidacja odpowie
na pytanie czy wiedza zawarta w szkoleniu została przyswojona. (i w jakim stopniu).
Walidacja jest ważna z dwóch powodów:
Po pierwsze - prawdziwe warunki w jakich szkolenie odbywa się różnią się od
warunków laboratoryjnych, w których prowadzone były testy Alfa i Beta. W "prawdziwym
świecie" szkolenie mogło przebiegać na komputerze znajdującym się na środku
głośnego, zatłoczonego pokoju. Klient mógł źle oszacować średnią wieku uczniów,
ich wykształcenie i preferencje. Dodatkowe materiały szkoleniowe mogły nie zostać
dostarczone do uczniów.
Te wszystkie informacje pozwolą nam ocenić różnicę pomiędzy rzeczywistością
życia szkolenia, a naszymi założeniami. Walidację oprogramowania warto zakończyć
raportem, który opisze nam wszystkie anomalie. W raporcie możemy zarysować plan
działań, który usprawni pracę z naszym szkoleniem.
Cel procesu oceniającego
Podstawą procesu oceniającego projekt eLearningowy jest odpowiedź na ptanie jaka była efektywność i wydajność szkolenia.
EFEKTYWNOŚĆ a WYDAJNOŚĆ
Ocena ciągła
Ocena ciągla to metoda oceny wartość programu podczas wszystkich
kolejnych faz jego tworzenia.
W wykładzie dotyczącym produkcji informowaliśmy o Alfa oraz Beta testach, które
należy przeprowadzić poczas tej fazy.
Poniższe kroki przedstawiają sposob przeprowadzenia oceny ciągłej projektu i powinny zostać prowadzone podczas Alfa testów projektowych:
1. Obserwacja zachowań praktykanów.
2. Prowadzenie swobodnych rozmów z praktykantami.
3. Sprawdzaj wiedzę praktykanów z pomocą krótkich testów.
4. Przeprowadź dyskusję z praktykantami by zebrać ich zdanie na temat szkolenia.
5. Odpowiedź na następujące pytania:
Czy zidentyfikowałeś poprawnie potrzeby szkoleniowe?
Czy zauważyłeś obszary wiedzy które warto doprecyzować?
Czy zauważyłeś przeslanki informujące o tym, że założenia szkoleniowe zostaną
spełnione?
Czy cele szkolenia powinny być zrewidowane?
Czy główne założenia zostałty przekazane?
Czy metody szkoleniowe są właściwe? Czy należy je poprawić/zrewidować?
Aby móc prawidłowo odpowiedzieć na powyższe pytania, należy wybrać grupę praktykanów, którzy w formie pilotażowej zapoznają się z zawartością naszego szkolenia.
Szkolenie powinno się też zaprezentować ekspertom w celu sprawdzenia, czy wiedza zawarta w szkoleniu spełnia ich oczekiwania.
Ocena końcowa
Ocena końcowa odpowiada na pytanie o skuteczność naszego szkolenia, innymi słowy mówi nam, czy nauczyliśmy tego - czego chcieliśmy nauczyć. Ocena końcowa najcześciej opiera się na metodych ilościowych oraz wskaźnikach.
W celu prawidłowego przeprowadzenie oceny końcowej należy wybrać wskaźniki sukcesu. W tym celu należy zdadać sobie pytanie, jakie były główne cele szkolenia, a następnie przeprowadzić badanie wśród populacji osób uczących się, by sprawdzić, czy wskaźniki sukcesu zostały osiągnięte.
Aby prawidłowo zdiagnozować efektywność szkolenia, należy przygotować narzędzie pozwalające na zbadanie uczniów. Narzędzia to przedewszystkim testy, kwestionariusze, ale także ocena indywidualna oraz obserwacja.
Kiedy już otrzymamy dane wynikowe powinniśmy w oparciu o wcześniej wybrane wskaźniki sukcesu przystąpić do analizy danych.
wybór wskaźników sukcesu
Wybór wskaźnika sukcesu polega na wykazaniu wyższości szkolenia eLearnigowego. Warto przekonać klienta, że migracja szkolenia z trybu rzeczywistego na eLearnigowy da mu wymierne korzyści. Podstawowym wskaźnikiem miary będą koszty. Koszt szkolenia eLearnigowego z reguły jest wyższy niż sesja trenigowa z nauczycielem.
Jakie będą koszty zakupu lub budowy projektu eLearningowego? |
||
Jakie będą koszty rezygnacji z eLearningu? | ||
Jakie będą koszty wdrożenia eLearningu razem z wdrożeniem nowych procesów biznesowych? | ||
Jakie będą koszty utrzymania projektu eLearnigowego? | ||
Efektywność | ||
Czas cyklu operacyjnego |
Jakie będą koszty zakupu lub budowy projektu eLearningowego?
Na to pytanie odpowiedzieliśmy podczas pracy nad fazami projektowania i planowania. Pamiętajmy jednak, koszt ze strony klienta będzie wyższy o marżę jaką nakładają na nas sprzedawcy, oraz o koszt wdrożenia nowych procesów biznesowych, którym przyjrzymy się za chwilę.
Jakie będą koszty rezygnacji z eLearnigu?
Koszty te najlepiej oszacować porównując cykl szkoleń zwykłych,
do kosztu budowy projektu eLearninowego. Pamiętajmy aby badać sumaryczny koszt
szkolenia w tym koszty przygotowania sesji szkoleniowej, koszty trenerów, wynajęcia
sal a także koszty nie wykonanej pracy podczas szkolenia i podróży (w przypadku
gdy szkolenie odbywa się poza miejscem naszej pracy). Jeśli koszty te przerosną
koszt wytworzenia oprogramowania - różnicę możemy uznać za koszt rezygnacji.
To porównanie pozwoli nam także oszacować granicę opłacalności wdrożenia szkolenia
eLearningowego. Wiemy bowiem, że koszt wytworzenia powinien być niższy, niż
suma kosztów utrzymania tradycyjnych szkoleń.
Jakie będą koszty wdrożenie eLearningu razem z wdrożeniem nowych procesów biznesowych?
W przypadku migracji naszych procesów szkoleniowych na platformę eLearnigową pojawiają się koszty przygotowania organizacji do nowego trybu pracy. W przeszłości informowaliśmy o trzech terminach szkolenia i prosiliśmy o dopisanie nazwiska ucznia do daty szkolenia. W nowych warunkach odpowiedniejsze będzie wysłanie e-mail'a z informacją gdzie możemy znaleść szkolenie eLearningowe, i do kiedy należy je ukończyć. Zatem zmiana typu szkolenia wpłynie na organizację, a co za tym idzie zmieni się model kosztowy.
Jakie będą koszty utrzymania projektu eLearnigowego?
Utrzymanie polegać będzie głównie na umieszczeniu szkolenia w ogólnodostępnym miejscu. W przypadku szkolenia na płytach CD/DVD może to być wyznaczone miejsce albo pracownik. W przypadku szkolenia WEB'owego będzie to dysk sieciowy albo strona WWW. W tym przypadku kosztem utrzymania będzie koszt sprzętu na którym umieścimy nasze szkolenie.
Efektywność
Różnica czasu potrzebnego do przyswojenia takiej samej
ilość informacji może być dobrym wskaźnikiem efektywności szkolenia.
Warto pamiętać, że szkolenie eLearnigowe prowadzone jest w chwili, gdy użytkownik
ma na nie czas. Użytkownik może nawigować i omijać znany mu materiał. Podczas
szkolenia tradycyjnego, w chwili gdy słuchacze mają różny poziom wiedzy, było
by to nie możliwe.
Badnie efektywności będziemy omawiać podczas przedstawienia metody badania ewaluacji
z pomocą kryteriów Kirckpatricka.
Efektywność możemy mierzyć także przez czas cyklu operacyjnego potrzebnego do
przekazania wiedzy. Przyjrzyjmy się uproszczonemu porównaniu czasu przeszkolenia
500 pracowników.
Czas cyklu operacyjnego
typ szkolenia | ilość sluchaczy | cykl jednego szkolenia | pojęmność klasy | suma czasu potrzebnego do przeszkolenia wszystkich pracowników |
szkolenie tradycyjne | 500 osób | 5 dni | 30 osób | 4 miesiące |
szkolenie eLearningowe | 500 osób | 5 dni | brak | 5 dni |
wybór wskaźników sukcesu - tableka
Elementy | tradycyjne szkolenie | eLearning |
Liczba osób | 500 | 500 |
Długość szkolenia | 3 dni | 2 dni |
Koszty przygotowania | 60 000$ | 180 000$ |
Utrzymanie | 0$ | 0$ |
Prowadzenie szkolenia | 300 000$ (200$ za osobę/dzień) | 25 000$ (50$ za osobę/dzień) |
Koszty podróży (1000$ za osobę x 250 osób) | 250 000$ | 0$ |
Koszty nie wykonanej pracy | 522 000 $ | 348 000$ |
Dodatkowe koszty nieobecności w pracy (dodatkowy dzień podróży) | 87 000$ | 0$ |
Razem | 1 219 000$ | 553 000$ |
60k przygotowanie |
180k przygotowanie |
Wybór wskaźników sukcesu - Jakość
Jaka jest jakość projektu eLearningowego?
Czy eLearning przedkłada się na większą produktywność?
Wybór wskaźników - Serwis
Czy eLearning zwiększa poziom obsługi potrzeb szkoleniowych pracowników?
Wybór wskaźników - Szybkość
Czy eLearning potrafi dostatecznie szybko reagować
na nowe potrzeby szkoleniowe?
Czy eLearning naprawdę może skorzystać z Internetu, nie tylko jako narzędzia
ale jako nowej kultury biznesowej
Badanie Ewaluacji Kryteria - Donald Kirckpatrick
Zasadniczo, Kirckpatrick założył, że możemy wyróżnić cztery poziamy Ewaluacji szkolenia. Pierwszy z nich to Odzew i nastawienie. Możemy go porównać do prostej ankiety, o której wypełnieni jesteśmy proszeni po zakończeniu wizyty u lekarza, zakończonych zakupach, lub wycieczce.
Poziom 1 - Odzew i nastawienie
Pierwszy poziom ma nam dać odpowiedź
na pytanie: Czy użytkownicy lubią program?
W tym celu warto przeprowadzić ankietę. Możemy także zaproponować pewnej grupie
uczniów spotkanie na którym wysłuchamy ich uwag dotyczących programu. Warto
pamiętać, że: Pozytywne nastawienie nie gwarantuję uczenia się, a negatywne,
wcale go nie przekreśla. Dlaczego? Osoby przechodzące kurs, nie musza
go lubić. Gdy mamy doczynienia naprzykład z obowiązkowym kursem BHP - już samo
nastawinie uczniów, którzy muszą go ukończyć, powoduje, że gro z nich nie będzie
go lubiło. Jeśli jednak kurs nię będzie podobał się blisko 100% populacji, warto
jest dowiedzieć się czegoś więcej o przyczynach.
W sytuacji gdy podczas prowadzenia projektu klient był cały czas informowany o postępach prac, brał udział w wyborze szaty graficznej oraz wspomagał nas w pracy nad treścią szkolenia, szansa, że w pierwszym poziomie osiągniemy zły rezultat - jest znikoma.
Poziom 2 - Ocena pedagogiczna/dydaktyczna
Drugi poziom ewaluacji wg. kryterium Kirkpatricka odpowiada
na pytanie: Czy użytkownicy nauczyli się tego czego mieli się nauczyć?
Jest kilka sposobów by odpowiedzić sobie na to pytanie. Pierwszym jest badanie
wiedzy posiadanej przez ucznia przed i po szkoleniu. W tym celu możemy urządzić
dwie sesje. Pretest - który odpowie nam na pytanie jaką wiedzę posiada uczeń
przed szkoleniem, oraz Postest który określi poziom wiedzy po zakończonym szkoleniu.
Różnica w wynikach da nam odpowiedź jaką wiedzę zgłębił uczący się podczas szkolenia.
Inną metodą jest ocenienie postest po jakimś czasie od zakończenia szkolenia. Ta metoda pozwoli na zbadanie czy materiał przekazywany był w sposób ułatwiający jego trwałe zapamiętanie. Taki test często nazywany jest retencyjnym.
Poziom 3 - Ocena zmian behawioralnych w danym środowisku
Trzecie poziom ewaluacji odpowiada na pytanie: Czy po programie
użytkownicy zmienili swoje działanie (performance) w określonym kontekście?
Raz jeszcze wróćmy do przykładu kursu BHP. Podczas niego pracownicy mogli naprzykład
dowiedzieć się, jak zachować się podczas rozprzestrzeniania się ognia. Nie było
w nim jednak mowy o przypadku, co zrobić gdy jedyną oznaką pożaru jest dym.
Trzeci poziom ewaluacji wskaże nam, czy przyswojona przez ucznia wiedza pozwoliła
mu na prawidłowe zachowanie w podobnej, aczkolwiek nie identycznej sytuacji.
Poziom ten, jest przydatny do mierzenia wiedzy proceduralnej.
Poziom 4 - Ocena rezultatów i ROI (return on investment)
Poprzednie poziomy pokazywały nam skuteczność nauczania,
jakość oraz jego uniwersalność. Czas zatem zadać sobie pytanie: Czy program
przyniósł oczekiwane zmiany organizacyjne? A przedewszystkim, Czy
program przyniósł oczekiwany zysk w stosunku do inwestycji?
Zwrot z inwestycji można mierzyć na wiele sposobów. W naszym przypadku warto
jest przygotować tabelę porównawczą - tak jak to robiliśmy badając Wybór Wskaźnika
Sukcesu. Pamiętajmy, nakłady na szkolenia eLearningowe nie zawsze dają się porównać
z jedną sesją treningową pracowników. Szkolenie eLearnigowe, po ich przeszkoleniu
pozostaje, co powoduje, że każdy nowo zatrudniony pracownik może z niego skożystać.
Jeśli nasze szkolenie dotyczyło motywacji pracowników, wprowadzenia nowej organizacji
pracy, badanie zwrotu inwestycji powinno odbyć się pośrednio. W tym przypadku
Poziomy 1 - 3 odpowiedzą nam na pytanie - czy warto było inwestować w szkolenie
eLearningowe.
Niniejszy dokument przybliża sposób prowadznia projektu eLearningowego, opisują fazę ewaluacji projektu eLearningowego.
Zarządzenie Projektem |
Zarzadzanie projektem jest to zbiór czynnosci
wykonywanych w celu osiagniecia wyznaczonych celów. Zawiera się w nim
planowanie, harmonogramowanie i utrzymywanie postepów w czynnosciach skladajacych
sie na projekt. Najprosciej mozna takze powiedziec, iz jest to nauka o
utrzymywaniu ryzyka porazki na mozliwie niskim poziomie w calym cyklu
zycia projektu. Ryzyko to bierze sie glównie z niepewnosci zwiazanej z
przyszlymi wydarzeniami na kazdym etapie przedsiewziecia. Z innego punktu widzenia, zarzadzanie projektem mozna zdefiniowac jako
nauke o definiowaniu i osiaganiu celów przy jednoczesnej optymalizacji
uzycia zasobów (np. czasu, pieniedzy, ludzi, itd.). Zarzadzanie projektem to pole dzialania i odpowiedzialnosci jednej osoby,
zwanej menadzerem projektu. Taka osoba rzadko uczestniczy bezposrednio
w czynnosciach, które prowadza do doprowadzenia projektu do celu,
lecz raczej sluzy jako koordynator, którego zadaniem jest utrzymanie
postepów i wspólpracy pomiedzy czlonkami projektu w taki
sposób, by zredukowac calkowite ryzyko porazki. W jezyku polskim przyjely sie glównie dwie nazwy okreslajace te
sama dziedzine wiedzy, zarzadzanie projektami (zamiast zarzadzania projektem)
oraz zarzadzanie przedsiewzieciami, z czego to pierwsze cieszy sie najwieksza
popularnoscia. Wsród osób zajmujacych sie ta nauka zawodowo
duzym powodzeniem cieszy sie takze angielskojezyczne sformulowanie Project
Management. |
Standard
|
Wspólnie ustalone kryterium, które okresla powszechne, zwykle najbardziej pozadane cechy czegos, np. wytwarzanego przedmiotu (np. standardem jest, ze kazdy wspólczesnie wytwarzany telewizor wyswietla kolory) czy ludzkiego zachowania (norma kulturowa). Standard to czasem takze podstawowa, najprostsza wersja produktu.
Standard w tym ujeciu jest kryterium, którego nie mozna zmierzyc (mozna zmierzyc pewne cechy kryterium, jak np. dopuszczalna dlugosc telefonu komórkowego itp., ale samego standardu dokladnie zmierzyc sie nie da), jest plynna granica ustalana na biezaco zarówno przez grupy konsumenckie, jak i osobnych odbiorców.
|
Organizacja wirtualna | Nowy typ organizacji charakterystyczny dla wielkich korporacji charakteryzujacy sie tym, ze nie posiadaja one wlasnych srodków produkcji w postaci zakladów produkcyjnych czy nawet pracowników, natomiast wynajmuja zewnetrznych podwykonawców, którzy realizuja cele organizacji. Zazwyczaj są to organizacje dysponujące znacznym kapitałem i mające już
duże uznanie na rynku. Jej działanie ogranicza się do nadawania produktom
swojej marki, przy czym proces produkcji nie jest przez tego typu organizację
kontrolowany. Charakterystyczna dla tego typu organizacji jest elastycznośc
przy wyborze podwykonawców w skali globalnej i stosunko łatwa delokalizacja
kapitału. Zazwyczaj dla potanienia kosztów produkcji organizacje tego
typu poszukują coraz tańszej siły roboczej w różnych regionach świata,
bardzo często lokując w końcu fabryki w krajach Trzeciego Świata. Naomi
Klein w swojej pozycji No Logo ostro skrytykowała tego typu organizacje,
między innymi firmy Reebok, Nike, czy Microsoft za brak odpowiedzialności
za warunki pracy oferowanych przez podwykonawców wynajmowanych przez te
firmy. |
Planowanie | Faza projektu w której badamy własne zasoby, przygotowujemy ofertę, nakreślamy budżet. |
Klient |
Osoba lub organizacja dla której świadczona jest usługa. Klient wewnętrzny - to osoba lub organizacja zamawiająca usługę znajdująca się w tej samej firmie. W przypadku gdy oprogramowanie tworzymy dla siebie, stajemy się klientem wewnętrznym. Klient jest osobą opłacającą projekt. |
Użytkownik
|
Osoba lub grupa osób, które finalnie będą użytkowały oprogramowanie. Użytkownikem szkolenia eLearningowego może być wyspecjalizowana grupa ludzi, lub też bliżej nie określona. Np. segment rynku lub "wszyscy studenci" |
Nauka w trybie mieszanym (blended-learning) |
Ten terminy zamiennie opisują podejście do kształcenia, w którym łączy się metodę w klasie i metodę na odległość, w której instruktor lub tutor spotyka się ze swoimi uczniami (albo metodą twarzą w twarz, albo przy użyciu środków technicznych), a baza zasobów zawierająca materiały i ćwiczenia jest udostępniana uczniom. Dodatkowo mogą być wykorzystywane niektóre z metod eLearning. |
System Zarządzania Uczeniem się (Learning Management System) |
Zestaw narzędzi eLearningowyxch dostępnych poprzez wspólny administrowany interfejs. System zarządzania uczeniem się może być traktowany jako platforma na której zbiera się i używa kursów on-line i komponentów kursów. |
Storyboard | Scenorys (ang. storyboard), scenopis obrazkowy - seria obrazów i szkiców, będących wskazówkami przy filmowaniu dla reżyserów, scenografów, operatorów, aktorów i montażystów. |
Komunikacja synchroniczna |
Komunikacja w czasie rzeczywistym (np. chat). |
Flowchart | Schemat blokowy (ang. block diagram, flowchart) - diagram,
na którym procedura, system albo program komputerowy są reprezentowane przez
opisane figury geometryczne, połączone liniami zgodnie z kolejnością wykonywania
czynności wynikających z przyjętego algorytmu rozwiązania zadania.
Schemat blokowy pozwala dostrzec istotne etapy algorytmu i logiczne zależności między nimi. Zależnie od przedstawianego stosowane są różne zestawy figur geometrycznych zwanych blokami, których kształty reprezentują umownie rodzaje elementów składowych. |
Produkcja | Implementacja (z łac.), informatyczny proces przekształcania abstrakcyjnego opisu systemu lub programu na obiekt fizyczny: komputer lub działający program zapisany w konkretnym języku programowania; także obiekt fizyczny będący efektem takiego przekształcenia, np. implementacja systemu operacyjnego lub kompilatora dla konkretnego typu komputera. |
Prototyp | urządzenie, obwód lub program zaprojektowany i zbudowany w celu zademonstrowania zdolności do budowy urządzenia docelowego. Podczas budowy prototypu inżynierowie wprowadzają pierwszy raz w życie swoje nowe pomysły. Jeżeli uda się zbudować prototyp i on działa, to można przystąpić do budowy finalnego urządzenia. Często podczas projektowanie niektóre rzeczywiste zjawiska związane z konstrukcją zostają pominięte. Prototyp pozwala na odkrycie ich nieznanego wpływu i wprowadzenie korekt. Jeżeli pierwszy prototyp nie jest udany, to buduje się kolejne, aż do uzyskania w urządzenia spełniającego założenia. Prototyp może fizycznie bardzo różnić się od ostatecznego urządzenia, jeżeli chcemy sprawdzić tylko pewną jego cechę. |
Burza mózgów | technika wywodząca się z psychologii społecznej, która ma na celu doskonalenie decyzji grupowych. Burza mózgów jest również formą dyskusji dydaktycznej, wykorzystywaną jako jedna z metod nauczania. Zalicza się ją wówczas do metod aktywizujących, która stanowi podgrupę metod problemowych. |
Ewaluacja | Ewaluacja to systematyczne badanie wartości albo cech konkretnego programu, planu, działania (eksperymentu) bądź obiektu (programu komputerowego, programu nauczania, lekarstwa, rozwiązania technicznego) z punktu widzenia przyjętych kryteriów, w celu jego usprawnienia, rozwoju lub lepszego zrozumienia. |
Komunikacja asynchroniczna |
Komunikacja w czasie opóźnionym (np. email). |
Literatura podstawowa i poszerzająca
Portal Wikipedia - www.wikipedia.pl |
Alessi Stephen M., Trollip Stanley R. (2001) "Multimedia for Learning - Methods and Development" |
Rosenberg Marc J. (2001) "E-Learning - Building successful online learning in Your organization - strategies for delivering knowladge in the digital age" |
Schank, Roger C. (2002) "Designing World-Class E-learning" |
Kitaoka Vance,Shea Andrea,Uehara Randal (1998) "Creating a Storyboard for Video Production" www2.hawaii.edu/~ricky/etec/storyboarding.html |
Oprogramowanie do tworzenia Storyboard |
Kruse Kevin "Creating
Scripts and Storyboards for e-Learning" |
Czy szkolenia eLearningowe mogą zastąpić dowolny typ szkolenia tradycyjnego?
Czym różni się ocena końcowa od oceny ciągłej?
Czy ewaluacja szkolenia eLearningowego trwa bez końca?