EVALUASI

8.1.  PENGENALAN EVALUASI EMPIRIS 
Evaluasi  empiris  adalah  proses  penilaian  dengan  cara  eksperimen,  penelitian,  atau
observasi. Data  empiris  merupakan  data  yang  diperoleh  /  ditemukan  /  disimpulkan  dari  sebuah
eksperimen atau penelitian. 
Evaluasi  adalah  rangkaian  kegiatan  membandingkan  realisasi  masukan  (input),  keluaran
(output),  dan  hasil  (outcome)  terhadap  rencana  dan  standar.  Evaluasi  merupakan  merupakan
kegiatan yang menilai hasil yang diperoleh selama kegiatan pemantauan berlangsung. Lebih dari
itu, evaluasi juga menilai hasil atau produk  yang telah dihasilkan dari suatu rangkaian program
sebagai dasar mengambil keputusan tentang tingkat keberhasilan yang telah dicapai dan tindakan
selanjutnya yang diperlukan.
Evaluasi  bertujuan  untuk  melihat  tingkat  keberhasilan  pengelolaan  kegiatan,  melalui
kajian terhadap manajemen dan output pelaksanaannya serta permasalahan yang dihadapi, untuk
selanjutnya  menjadi  bahan  evaluasi  kinerja  program  dan  kegiatan  selanjutnya.  Bentuk  evaluasi
berupa  pengkajian  terhadap  manajemen  dan  output  pelaksanaannya  serta  permasalahan  yang
dihadapi.

8.1.1  Alasan Perlunya Evaluasi
a.  Memastikan kecocokan dengan permintaan pengguna/tujuan pengguna.
b.  Untuk melihat apakah hasil rancangan dengan  proses  uji coba  system yang telah dibuat
sesuai dengan user.
c.  Memberikan  informasi  yg  valid  tentang  kinerja  kebijakan,  program  &  kegiatan  yaitu
seberapa jauh kebutuhan, nilai & kesempatan telah dapat dicapai. 
d.  Memberikan  sumbangan  pada  klarifikasi  &  kritik  terhadap  nilai-nilai  yang  mendasari
pemilihan tujuan & target.
e.  Melihat  peluang  adanya  alternatif  kebijakan,  program,  kegiatan  yang  lebih  tepat,  layak,
efektif, efisien.
f.  Memberikan umpan balik terhadap kebijakan, program dan proyek.
g.  Menjadikan kebijakan, program dan proyek mampu mempertanggung jawabkan penggunaan
dana publik.
h.  Mambantu  pemangku  kepentingan  belajar  lebih  banyak  mengenai kebijakan,  program  dan
proyek.
i.  Dilaksanakan berdasarkan kebutuhan pengguna utama yang dituju oleh evaluasi.
j.  Negosiasi antara evaluator and pengguna utama yang dituju oleh evaluasi.

8.1.2  Informasi dari Evaluasi
Evaluasi memberikan  informasi mengenai:
a.  Benar atau tidaknya strategi yang dipakai.
b.  Ketepan cara operasi yang dipilih.
c.  Pemilihan cara pembelajaran yang lebih baik.
d.  Pelaksanaan  pengawasanterhadap  kegiatan  rutin  sedang  berjalan  dan  internal,  serta
pengawasan  dipergunakan  untuk  mengumpulkan  informasi  terhadap  keluaran/hasil  dan
indikator yang dipergunakan untuk mengukur kinerja program.
e.  Pelaksanaan  evaluasi  dilaksanakan  secara  periodik  dan  berkala,  dapat  bersifat  internal  dan
eksternal  atau  partisipatif,  sebagai  umpan  balik  periodik  kepada  pemangku  kepentingan
utama.

8.1.3  Tujuan Evaluasi
a.  Melihat seberapa jauh  system telah berfungsi bagi  si user  melakukan tugas dengan lebih
mudah.
b.  Melihat efek  interface  bagi pengguna Kemudahan untuk mempelajari sistem,  usability  dan
perilaku user.
c.  Mengidentifikasi problem khusus yang terjadi pada sistem.
d.  Menilai tingkat fungsionalitas sistem.
e.  Menilai efek antarmuka pada pengguna.
f.  Mengidentifikasi masalah-masalah spesifik

 8.2.  PERANCANGAN  EKSPERIMEN  (  HIPOTESA,  VARIABEL,  RANCANGAN  DAN
PARADIGMA )
Perancangan  eksperimen  tidak  lepas  dari  rancangan  percobaan  (dengan  setiap langkah-langkahnya  yang  betul-betul  telah  terdefinisikan)  sedemikian  rupa  sehingga  informasi  yang
berhubungan dengan / atau diperlukan untuk persoalan yang sedang diteliti dapat dikumpulkan. 
Desain eksperimen = sebagai suatu pengujian atau serangkaian pengujian yang bertujuan
untuk  melakukan  perubahan  terhadap  variabel-variabel  input  dari  proses  atau  sistem  sehingga
dapat meneliti dan mengidentifikasi sebab perubahan dari output.

8.3.  PARTISIPASI, IRB DAN ETIKA PENGUMPULAN DATA
8.3.1.  Perancangan Eksperimen
a.  Hipotesa
1.  Merupakan prediksi yang dihasilkan dalam eksperimen.
2.  Masih  menggunakan  variable  independent  dan  dependent,  dimana  variasi  di  dalam
independent variable akan menyebabkan perbedaan pada dependent variable.
b. Variabel
1.  Independent Variabel
Karakter suatu eksperimen yang memanipulasi untuk menghasilkan kondisi yang berbeda
sebagai perbandingan.
Contoh :   
  Jenis interface
  Level dari help
  Jumlah item menu dan perancangan icon.
2.  Dependent Variabel
Variabel yang dapat diukur dalam eksperimen.
Contoh pada variabel independent  adalah kecepatan dari pemilihan menu. 
c. Rancangan
1.  Between-Groups (Randomized)
  Masing-masing  subyek  diberikan  kondisi  yang  berbeda  yakni  kondisi  eksperimen
dan control.
  Setiap user menghasilkan satu kondisi
  pengaruh dari subyek banyak
2. Within-Groups
   Setiap user akan menampilkan kondisi yang berbeda
   Jumlah user yang tersedia lebih sedikit
   Pengaruh dari subyek lebih sedikit

8.3.2. Paradigma Evaluasi
a.  “Quick and Dirty” Evaluation
Adalah umpan balik berupa keinginan dan  yang  disukai dari  user  atau konsultan  yang
disampaikan secara informal kepada desain bertentang produk yang dibuatnya.
b.  Usability Testing
Melibatkan pengukuran kinerja user dalam mempersiapkan tugasnya secara hati-hati, dari
proses inilah maka dibuat kan desain sistemnya.
c.  Field Studies
Berbeda dengan usability  testing,  evaluasi ini dilakukan  di  lingkung asli dimana  user
bekerja,  hal ini bertujuan untuk meningkatkan pemahaman tentang kerja  user  secara alami dan
bagaimana teknologi tersebut berdampak padanya.
d.  Predictive evaluation
Didasarkan pada pengalaman seorang ahli dalam menghadapi user, dan biasanya hal ini
dijadikan patokan untuk memprediksi masalah-masalah penggunaan sebuah produk.

8.3.3.  Partisipasi, IRB dan Etika
a.  Partisipasi
Merupakan  keikutsertaan,  peranserta  atau  keterlibatan  yang  berkaitan  dengan  keadaaan.
Bentuk Partisipasi antara lain :
1.  Partisipasi harta benda
2.  Partisipasi tenaga
3.  Partisipasi keterampilan

b.  IRB  (Institutional Review Board)
Merupakan  sebuah kelembagaan  dewan  peninjau ( IRB ),  juga  dikenal  sebagai komite
etika  independen atau dewan  peninjau  etik ,  adalah panitia yang  telah  ditunjuk  secara  resmi

untuk  menyetujui,  memantau,  dan  meninjau biomedis dan perilaku  penelitian yang
melibatkan manusia. 
c.  Etika
Etika evaluasi terdiri dari 4 hal, yaitu:
1.  Kerahasiaan hasil evaluasi
2.  Keamanan evaluasi
3.  Intepretasi hasil evaluasi
4.  Penggunaan evaluasi


8.4 TEKNIK PENGUMPULAN DATA
8.4.1 Teknik Observasi
a.  Think Aloud 
Cara yang popular dalam mengumpulkan informasi dengan melihat interaksi user.
b.  Analisa Protokol
c.  Automatic Protocol Analysis Tools 
EVA  (Experimental  Video  Annotator)  yaitu  sistem  prototipe  yang  berjalan  pada
multi-media workstation yang dihubungkan langsung ke video recorder.
d.  Post-task walkthroughs 
Terdapat  beberapa  keadaan  yang  menyebabkan  subyek  tidak  dapat  berbicara
selama  observasi  sebenarnya  seperti  subyek  sedang  mengerjakan  tugas  yang  sangat
penting  dan  banyak.  Pada  keadaan  ini post-task  walkthroughs  dapat  melihat  secara
subyektif perilaku user.

8.4.2 Teknik Query
a.  Interview 
Meng-interview  user  tentang  pengalaman  mereka  dengan  sistem  interaktif  yang
menyediakan informasi secara langsung dan terstruktur.
b.  Questionnaire 
Metode alternatif yang agak kurang fleksibel dibandingkan dengan interview tetapi dapat
meraih subyek yang banyak dan membutuhkan waktu yang tidak lama. Terdapat beberapa jenis
questionnaire yaitu General, Open-ended, Scalar, Multi-choice, Ranked. 

8.4.3 Metode Pengumpulan Data
a.   Kuesioner
Kuesioner  adalah  daftar  pertanyaan  tertulis  yang  ditujukan  kepada  responden.  Jawaban
responden atas semua pertanyaan dalam kuesioner kemudian dicatat/direkam
b.  Observasi
Pengamatan  melibatkan  semua  indera  (penglihatan,  pendengaran,  penciuman,  pembau,
perasa). 
c.  Wawancara
Pengambilan  data  melalui  wawancara  /secara  lisan  langsung  dengan  sumberdatanya,
baik melalui tatap muka atau lewat telephone, teleconference.
d.  Dokumen
Pengambilan data melalui dokumen tertulis mamupun elektronik dari lembaga/institusi.

8.4.4 Tujuan Pengumpulan Data
a.  Memperoleh informasi tentang keadaan kesehatan klien
b.  Untuk menentukan masalah keperawatan dan kesehatan klien.
c.  Untuk menilai keadaan kesehatan klien.
d.  Untuk membuat keputusan yang tepat dalam menentukan langah-langkah berikutnya.

8.5  ANALISA DATA DAN INTERPRETASI HASIL 
8.5.1 Analisa Data dan Interpretasi Hasil
Analisis  data  adalah  proses  Penyederhanaan  data  ke  dalam  bentuk yang  lebih  mudah
dibaca dan diinterpretasikan.
Analisis dan interpretasi data diperlukan untuk merangkumkan apa yang telah diperoleh,
menilai apakah data tersebut berbasis kenyataan, teliti, dan benar. Analisis dan interpretasi data
juga diperlukan untuk memberi jawaban terhadap pertanyaan-pertanyaan yang diajukan.

8.5.2 Jenis Data
a. Data Kuantitatif 
Data  kuantitatif  merupakan  data  yang berupa  angka  atau  bilangan,  baik  yang  diperoleh
dari  hasil  pengukuran  maupun  diperoleh  dengan  cara  mengubah  data  kualitatif  menjadi  data
kuantitatif.
Contoh  data  kuantitatif:  skor  tes  awal  Tina  untuk  mata  pelajaran  matematika=  65,  berat
badan Tini 47 kg, panjang meja tulis 150 cm. 

b.  Data Kualitatif
Data  kualitatif  merupakan  data  yang  berupa  kalimat-kalimat,  atau  data  yang
dikategorikan  berdasarkan  kualitas  objek  yang  diteliti,  misalnya:  baik,  buruk,  pandai,  dan
sebagainya. 
Contoh  data  kualitatif:  siswa  berdiskusi  secara  aktif,  perhatian  siswa  terhadap
matapelajaran IPS rendah, dan rata-rata skor UAS semester ini naik.
 
8.5.3  Teknik Analisis Data Kualitatif
a. Analisis interaktif terdiri dari tiga tiga komponen, yakni:  
1. Memilih data (reduksi data) 
Pada  langkah  pemilihan  data  ini,  pilihlah  data  yang  relevan  dengan  tujuan  perbaikan
pembelajaran.  Data  yang  tidak  relevan  dapat  dibuang,  dan  jika  dianggap  perlu,  guru  peserta
dapat menambahkan data baru dengan mengingat kembali peristiwa atau fenomena yang terjadi
selama pelaksanaan rencana tindakan. 
2.  Endeskripsikan data hasil temuan (memaparkan data) 
Pada  kegiatan  ini,  guru peserta membuat  deskripsi  dari  langkah  yang yang  dilakukan
pada kegiatan (1) tersebut.
3.  Menarik kesimpulan hasil deskripsi 
  Berdasarkan  deskripsi  yang  telah  dibuat  pada  langkah  b)  tersebut,  selajutnya
dapat ditarik kesimpulan hasil pelaksanaan rencana tindakan yang telah dilakukan.