EVALUASI META
Diajukan
Untuk Memenuhi Tugas Mandiri Mata Kuliah
Evaluasi Program Pendidikan
Dosen pengampu Prof.
Dr. H. Abdul Madjid Latief, MM, M.Pd
Disusun
oleh
ABDUL. S.E
MAGISTER ADMINISTRASI PENDIDIKAN
PROGRAM PASCA SARJANA
UNIVERSITAS MUHAMMADIYAH PROF. DR.
HAMKA
TAHUN 2011
BAB I
PENDAHULUAN
A. Latar
Belakang
Evaluasi
program adalah proses untuk mengetahui apakah tujuan suatu program atau
pendidikan sudah terealisasikan. Evaluasi program juga dapat didefinisikan
sebagai upaya menyediakan informasi untuk disampaikan kepada pengambilan
keputusan.
Setiap
evaluasi sedikit banyak mengandung bias dari keputusan yang diambil evaluator
tentang apa yang akan diuji, instrumen yang dipakai, kepada siapa akan
dibicarakan, dan siapa yang mendengar, semua mempengaruhi hasil evaluasi.
Bahkan latar belakang pribadi evaluator, pendidikan, dan pengalaman juga
mempengaruhi cara evaluasi dilaksanakan.
Seorang
evaluator dalam melaksanakan suatu evaluasi agar dapat memperoleh hasil
evaluasi yang sebaik-baiknya harus memenuhi beberapa persyaratan diantaranya;
(1) memahami materi yaitu memahami tentang seluk beluk program yang dievaluasi,
(2) menguasai tehnik, yaitu menguasai cara-cara atau tehnik yang digunakan
dalam melaksanakan evaluasi program, (3) obyektif dan cermat, dan (4) jujur dan
dapat dipercaya. Apabila seorang evaluator yang melakukan evaluasi suatu
program tetapi tidak memenuhi persyaratan tersebut tentunya hasil evaluasi yang
diperoleh hasilnya tidak efisien dan akurat serta tidak dapat dipercaya .
Baik
evaluator maupun klien harus sadar akan bias pada evaluasi. Evaluator, karena
standar pribadi dan reputasi dirinya juga akan diuji klien karena ia tidak mau
mempertaruhkan uang maupun kebijaksanaannya untuk evaluasi yang di bawah
target. Keduanya akan menderita kerugian banyak apabila ternyata evaluasi
tidak efisien. Untuk mengatasi permasalahan-permasalahan evaluasi di atas maka
suatu evaluasi harus dievaluasi kembali, evaluasi semacam ini yang kemudian
kita kenal dengan nama evaluasi meta. Oleh sebab itu evaluasi meta
atau mengevaluasi penting adanya.
Trend
terkini dari penelitian sintesis adalah melakukan analisis terhadap sebuah
analisis yang telah ada sebelumnya,yaitu penelitian-penelitian terdahulu.
Metode inilah yang disebut meta analysis. Dibandingkan dengan 3 metode review
artikel lainnya (Narrative Review,Descriptive Review, dan Vote Counting),
meta-analysis merupakan metode yang paling
konsern pada pendekatan kuantitatif.
Meta-analysis lebih
tidak bersifat subjektif dibandingkan dengan metode tinjauan lain. Meta analysis tidak fokus pada kesimpulan
yang didapat pada berbagai studi, melainkan fokus pada data, seperti melakukan
operasi pada variabel- variabel, besarnya ukuran efek, dan ukuran sampel. Untuk
mensintesis literatur riset, meta-analysis statistikal menggunakan hasil
akhir dari studi-studi yang serupa seperti ukuran efek, atau besarnya efek.
Fokus pada ukuran efek dari penemuan empiris ini merupakan keunggulan meta-analysis dibandingkan dengan metode
tinjauan literatur lain.
Meta-analysis memungkinkan
adanya pengkombinasian hasil-hasil yang beragam dan memperhatikan ukuran sampel
relatif dan ukuran efek. Hasil dari tinjauan ini akurat mengingat jangkauan
analisis ini yang sangat luas dan analisis yang terpusat. Meta-analysis juga menyediakan jawaban
terhadap masalah yang diperdebatkan karena adanya konflik dalam
penemuan-penemuan beragam studi serupa.
B. Tujuan
Penulisan
Bagian ini
dirancang untuk memperkenalkan apa yang dimaksud dengan evaluasi meta serta
langkah-langkah pelaksanaannya. Pembahasannya ditekankan pada pengertian
evaluasi meta dan siapa yang melakukan evaluasi meta. Sama juga seperti
mengevaluasi proyek atau porgram, evaluasi juga dapat dievaluasi yang disebut evaluasi
meta. Tuntutan untuk seorang evaluator tinggi, tetapi tuntutan terhadap
seorang evaluator meta lebih tinggi.
Pembahasan
berikutnya diarahkan pada pengenalan standar yang dipakai dalam mengevaluasi
meta dan petunjuk umum melaksanakan evaluasi meta. Ada empat standar yang
dipakai dalam evaluasi meta; utility standard, feasibility
standard, propriety standards dan accuracy standard.
BAB II
PEMBAHASAN
A. Pengertian
Evaluasi Meta
Istilah
Meta evaluation atau evaluasi meta pertama kali dikemukakan oleh Michael
Scriven (Daniel L. Stufflebeam, 1974). Evaluasi meta adalah mengevaluasi hasil
suatu evaluasi. Lebih spesifik evaluasi meta menilai evaluasi primer (hasil
suatu evaluasi) dengan standar evaluasi yang disusun oleh asosiasi profesi evaluasi
atau organisasi evaluasi untuk menentukan apakah evaluasi primer tersebut telah
dilaksanakan sesuai dengan standar evaluasi, yaitu Standards for Evaluations of
Educational Programs, Projects, and Material yang dikembangkan oleh Joint
Committee on Standards for Educational Evaluation.
Dalam
evaluasi meta objek evaluasinya adalah evaluasi primer, yaitu hasil evaluasi
yang dilaksanakan oleh evaluator. Evaluasi primer dinilai berdasarkan standar
evaluasi dan hasilnya dapat bernilai sangat tinggi sampai sangat rendah. Jika
hasil evaluasi meta nilainya tinggi, evaluasi primer memenuhi standar evaluasi,
maka dapat dipergunakan untuk mengambil keputusan mengenai objek evaluasi
primer, jika nilainya rendah, maka tidak dapat digunakan untuk mengambil
keputusan.
Dalam
merencanakan dan melaksanakan evaluasi, evaluator, klien dan pemangku
kepentingan menghadapi bias. Evaluator menghadapi bias dalam hal:
a. Mendefinisikan
objek yang dievaluasi
b. Menentukan
klien dan pemangku kepentingan
c. Metode
apa yang dipergunakan
d. Model
evaluasi yang dipilih
e. Instrumen
yang dipergunakan
f. Sumber
informasi
g. Evaluator
dapat mempunyai konflik interes
h. Dalam
merancang dan melaksanakan evaluasi evaluator tidak memperhatikan standar
evaluasi
i. Teknik
menganalisis dan menyimpulkan data mungkin tidak memenuhi kaidah-kaidah
evaluasi.
Bahkan
latar belakang, pengalaman dan posisi evaluator, khususnya evaluator internal
sangat mempengaruhi evaluasi yang dilaksanakannya.
Beberapa
pengertian Meta Analysis yang dikemukakan oleh ahli:
Meta
analisis merupakan analisis kuantitatif dan menggunakan sejumlah data yang
cukup banyak serta menerapkan metode statistik dengan mempraktekkannya dalam
mengorganisasikan sejumlah informasi yang berasal dari sampel besar yang
fungsinya untuk melengkapi maksud-maksud lainnya (Glass, 1981). Dengan kata lain, meta analisis adalah
suatu bentuk penelitian kuantitatif yang menggunakan angka-angka dan
metode statistik dari
beberapa hasil penelitian untuk mengorganisasikan dan menggali informasi
sebanyak mungkin dari data yang diperoleh, sehingga mendekati kekomprehensifan
dengan maksud-maksud lainnya.Salah satu syarat yang diperlukan dalam melakukan
meta analisis adalah pengkajian terhadap hasil-hasil penelitian yang sejenis.
Meta
analisis adalah suatu analisis integratif sekunder dengan menerapkan prosedur
statistik terhadap hasil-hasil pengujian hipotesis penelitian. Menurut Glass (1981), analisis
sekunder itu merupakan analisis ulang (reanalysis) terhadap data untuk tujuan
menjawab pertanyaan penelitian dengan teknik-teknik statistik yang lebih baik
atau menjawab pertanyaan-pertanyaan baru dengan data lama yang dimiliki. Analisis sekunder merupakan suatu
ciri-ciri penting terhadap riset dan kegiatan evaluasi. Soekamto (1988)
mengatakan bahwa sifat meta analisis antara lain kuantitatif, dan memakai
analisis statistik untuk memperoleh seri informasi yang berasal dari sejumlah
data dari penelitian-penelitian sebelumnya. Menurut Borg (1983) bahwa, meta
analisis merupakan teknik pengembangan paling baru untuk menolong peneliti
menemukan kekonsistenan atau ketidakkonsistenan dalam pengkajian hasil silang
dari hasil penelitian.
Meta-analisis
merupakan studi dengan cara menganalisis data yang berasal dari studi primer.
Hasil analisis studi primer dipakai sebagai dasar untuk menerima atau mendukung
hipotesis, menolak/menggugurkan hipotesis yang diajukan oleh beberapa
peneliti (Sugiyanto, 2004). Lebih lanjut dikatakan oleh Sutjipto (1995) bahwa
meta-analisis adalah salah satu upaya untuk merangkum berbagai hasil penelitian
secara kuantitatif. Dengan kata lain, meta-analisis
sebagai suatu teknik ditujukan untuk menganalisis kembali hasil-hasil
penelitian yang diolah secara statistik berdasarkan pengumpulan data primer.
Hal ini dilakukan untuk mengkaji keajegan atau ketidakjegan hasil penelitian
yang disebabkan semakin banyaknya replikasi atau verifikasi penelitian,yang
sering kali justru memperbesar terjadinya variasi hasil penelitian.
Prosedur
meta evaluasi internal tidak terlalu formal, dapat dipakai untuk merevisi suatu
evaluasi dan juga dapat menolong Anda untuk terus dapat mengikuti kegiatan
proses evaluasi (keep track). Usaha evaluasi meta juga dapat membuat
Anda terus terlibat dan bertanggung jawab, dan akan menambah kepercayaan atas
evaluasi.Evaluasi meta dilakukan apabila Anda ingin mengamati dan meneliti
desain dan fungsi evaluasi Anda. Evaluasi meta dapat dilakukan kapan saja,
mulai dari ketika evaluasi dalam tahap perencanaan, ketika evaluasi dalam
proses, dan bahkan pada saat evaluasi sudah selesai dilakukan.
Seorang
evaluator evaluasi meta harus memiliki kompetensi yang tinggi dalam melakukan
evaluasi, ia tidak hanya harus kompeten dalam melakukan evaluasi yang pokok, ia
juga harus dapat mengetahui bahwa evaluasi itu jelek atau baik dan meyakinkan
kepada orang lain akan hasil evaluasinya.
Brinkerhoff
& Cs (1983) mengatakan bahwa evaluator meta eksternal biasanya lebih banyak
dipilih daripada yang internal, karena orang luar mungkin dianggap lebih
obyektif dan lebih terpercaya. Hal ini penting apabila Anda memikirkan
reaksi orang-orang luar atas evaluasi Anda. Apabila evaluasi meta hanya untuk
orang-orang dalam, maka evaluasi eksternal (dari kantor lain, orang dari bagian
lain yang tidak ada hubungan langsung dengan proyek yang digarap, tetapi tetap
dari departemen atau organisasi yang sama) dapat juga merupakan kesempatan yang
baik untuk memperoleh pandangan yang segar.
Menurut
Worthen, Blain R & James R. Sanders (1987), orang-orang yang patut
melakukan evaluasi meta yaitu :
a. Evaluasi meta dilakukan oleh evaluator sendiri
(original evaluator).
b. Evaluasi meta dilakukan oleh pemakai evaluasi.
c. Evaluasi meta dilakukan oleh evaluator ahli
B. Sejarah Evaluasi Meta
Sebenarnya
sudah dipakai secara “implisit” pada tahun 1904. Namun baru memakai kata “meta-analysis”
setelah Glass di tahun 1976 memakai istilah“meta-analysis” di dalam artikelnya.
Meta Analisis dikembangkan oleh Gene Glass yang memperluas pengadopsian hasil
penelitian oleh para peneliti. Metode
ini meliputi penerimaan hasil penemuan masing-masing kajian pada effect size
(D). Untuk studi yang
membandingkan kelompok eksperimental dan kelompok kontrol, effect size dihitung
dengan mengurangkan rerata skor terhadap kelompok kontrol pada dependent
variable dari rerata kelompok eksperimen dan dibagi dengan simpangan baku
kelompok kontrol.
Rumus-rumus
yang sama dikembangkan untuk mengubah kebanyakan statistik inferensial, misalnya rasio t, rasio F
persentase, dan koefisien korelasi bagi effect size tersebut. Rerata effect size untuk seluruh
kajian dilibatkan dalam research review
yang kemudian dihitung untuk mengestimasi tipe-tipe efek dari fenomena di bawah
kajian tersebut.Rumus-rumus yang sama dikembangkan untuk mengubah kebanyakan
statistik inferensial,
misalnya rasio t, rasio F persentase, dan koefisien korelasi bagi effect size
tersebut. Rerata effect
size untuk seluruh kajian dilibatkan dalam research review yang kemudian dihitung untuk
mengestimasi tipe-tipe efek dari fenomena di bawah kajian tersebut.
Dalam
meta analisis semua kajian dengan bukti yang tersedia dihubungkan dengan
pertanyaan penyelidikan yang dilibatkan, tanpa memperhatikan kualitas (ini
merupakan salah satu kelemahan meta analisis). Glass mempertimbangkan pendekatan
tersebut dengan menjelaskan bahwa secara metodologi, kajian tersebut seringkali
melaporkan hasil-hasil yang sama untuk menemukannya di dalam kajian-kajian yang
lebih tegas, dengan mengkombinasikan seluruh hasil kajian, yakni hasil yang
dapat diterima dan yang lebih dapat dipercaya.
C. Kelebihan Dan Kekurangan Evaluasi
Meta
Kelebihan Evaluasi
Meta, antara lain:
1. Lebih
sedikit subjektivitas dan judgement dibanding 3 metode lain.
2. Karena
merupakan pendekatan kuantitatif, maka banyak mengambil sampel, sehingga hasil
bisa lebih representatif. Hasil
akhirnya dinamakan “effect size”.
3. Meta-analysis
memungkinkan mengkombinasikan berbagai macam hasil penelitian yang telah
ada sebelumnya.
4. Metode
ini fokus pada pengakumulasian impact dari hasil-hasil yang tidak
signifikan sehingga bisa menghasilkan suatu hasil yang signifikan.
5. Metode
ini juga dapat menjwab pertanyaan seputar kesenjangan hasil yang terjadi
dari studi yang bermacam-macam.
6. Pada
penelitian bidang bisnis, Meta-analysis membuat organizational behaviour yang
baik.
Sedangkan
kekurangan Evaluasi Meta, antara lain:
1. Karena
banyaknya sampel yang diambil, maka kemungkinan akan
terjadi/memiliki sampel –sampel yang bias serta data-data yang tidak perlu
(sampah).
2. Meta-analysis
seringkali membuat hasil yang dipublikasikan hanya yang signifikan saja, sedangkan
yang tidak signifikan tidak dipublikasikan.
3. Metode
bersifat meng-aggregat-kan serta merata-ratakan sesuatu. Jadi sesuatu
yang berbeda bisa jadi dipandang sama oleh metode ini.
4. Metode
ini tidak cocok diterapkan bila sampel datanya kecil.
5. Bisa
saja terjadi metodological error.
D. Perkembangan Evaluasi Meta
Kini
evaluasi meta mulai berkembang, terutama setelah dikenalkan oleh Glass tahun
1976.
Analysis of Moderator Effects
Berikut
ini adalah Metode umum dalam Detecting/Assessing Moderator Effects
-
Graphing – OLS regression
-
Q Stastistics (chi-square test) – WLS regression
-
Variance analysis – Partition test
-
Outlier test
Mediator Assessment Methods
Merupakan
teknik yang penting dalam metode meta-analysis yang berfungsi untuk
meng-address hubungan struktural, menganalisa apakah korelasi matriks dari
populasi umum mendasari sebuah himpunan dari hasil empiris yang didapatkan. Ada
dua alternatif pendekatan untuk mempelajari mediator effect,
yaitu:
1.
mengkombinasi dan menganalisa korelasi pengembangan evaluasi meta
2.
studi koefisien secara langsung dari kepentingan sebagai effect size.
E. Beberapa Penelitian Evaluasi Meta
Banyak
penelitian yang menerapkan meta analisis. Xin Ma dan Kishor (1992) telah
melakukan suatu penelitian meta analisis terhadap 113 penelitian utama. Kajian ini melakukan Penilaian
Hubungan Sikap terhadap Matematika dan Prestasi Matematika. Hasil-hasil statistik pada kaijan ini
digunakan untuk mentransformasikan ukuran pengaruh bersama untuk mengukur
koefisien korelasi. Hubungan
tersebut menemukan variabel terikat pada sejumlah variabel: kelas, latar
belakang etnis, pemilihan sampel, ukuran sampel, dan publikasi data.
Underwood
(1971) menemukan 16 penelitian eksperimen pada hubungan antara memori dan
campur tangan pengintegrasian riset secara pasti. Desain baku dan mendekati baku
pengukuran bersama dilakukan untuk kajian-kajian yang disarankan lebih
cenderung menggabungkan bukti-bukti kuantitatif daripada yang bersifat tipikal
dalam penelitian itu.
Rosenthal
(1976) mengintegrasikan penemuan-penemuan beberapa ratus kajian eksperimental
yang mengharapkan efek berada dalam riset tingkah laku (behavioral)
tersebut. Teknik yang
digunakan dan dia diskusikan terhadap metodologi sungguh seperti yang
ditampilkan oleh Glass (1976), ada dua pemikiran (melahirkan keperluan yang
sama). Selanjutnya, Sudman
dan Bradburn dalam Glass (1976) mensintesis beberapa ratus kajian empirik
terhadap “efek-efek jawaban” dalam riset surveinya. Selama lima tahun mereka bekerja untuk
mempublikasikan pekerjaan mereka, metode yang dikembangkan, merekomendasikan
penerapan berulang dan dalam wilayah yang berbeda: perlakuan terhadap kegagapan
(Andrews, 1979), instruksi matematika modern vesus tradisional (Athappilly,
1980), perlakuan terhadap sakit kepala dan tensi sakit kepala (Blanchard, et
al., 1980), instruksi sains “orientasi proses” (Bredderman, 1980),
kecenderungan dominan khusus pendidikan siswa (Carlberg, 1979), penilaian siswa
terhadap perintah dan prestasi siswa (Cohen, 1980), penilaian neuropsychologi
anak (Davidson, 1978).
F. Metode Evaluasi Meta
Penelitian
meta analisis ini merupakan penelitian yang menggunakan data sekunder berupa
data-data dari hasil penelitian sebelumnya Dengan demikian penelitian ini dapat
disebut sebagai penelitian yang bersifat ex post facto yang berbentuk survey
dan analisis kepustakaan terhadap penelitian-penelitian yang telah dilakukan.
Ada
beberapa cara yang dapat dilakukan untuk melaksanakan suatu meta analisis:
1. Glass
(1981) = fokus pada deteksi dari moderator variabel.
2. Hedges
dan Olkin (1985) = memakai teknik weighted least squares
3. Rosenthal
dan Rubin (1991) = sama seperti Hedges-Olkin, bedanya hanya pada test signifikansi untuk mengkombinasikan
effect size
4. Hunter
dan Schmidt (1990) = bedanya dengan yang lain adalah metode ini berusaha mengkoreksi error potensial sebelum
meta-analysis mengintegrasikan effect study antar studi.
Tehnik
Hunter dan Schmidt lebih sering digunakan karena teknik ini dianggap oleh para peneliti
sebagai teknik yang paling
lengkap, karena selain dapat dipergunakan untuk mengkaji effect size, teknik
Hunter Schimidt dapat juga dipergunakan untuk mengkoreksi kesalahan sebagai
akibat error of measurement, maupun man made error (artifact) yang lain.
Dalam
upaya melakukan sintesa dari beberapa penelitian, terlebih dahulu dilakukan
koreksi terhadap artefak atau ketidaksempurnaan penelitian (Sugiyanto,2004).
Hunter & Schmidt (1990) menyebutkan sedikitnya ada 11 artefak yaitu:
1. Kesalahan pengambilan sampel
2. Kesalahan pengukuran pada variabel
dependen
3. Kesalahan pengukuran pada variabel
independent
4. Dikotomi variabel dependen
5. Dikotomi variabel independent
6. Variasi rentangan dalam variabel
independent
7. Artefak atrisi
8. Ketidaksempurnaan validitas
konstruk pada variabel dependen
9. Ketidaksempurnaan validitas konstruk
pada variabel independen
10.Kesalahan
pelaporan atau transkripsi
11.Varians
yang disebabkan oleh faktor luar.
Hunter,
J.E., & Schmidt, F.L.(1990 )mengemukakan langkah-langkah/metode analisis
korelasi meta-analisis dapat dilakukan dengan cara sebagai berikut:
a. Transformasi harga F ke dalam t, d,
dan r
b. Bare Bone Meta Analysis: Koreksi
Kesalahan sampel
1. Menghitung
mean korelasi populasi
2. Menghitung varians rxy
3. Menghitung varians kesalahan pengambilan sampel
4. Dampak
pengambilan sampel
c. Artefak yang lain: Koreksi Kesalahan
Pengukuran
1. Menghitung
mean gabungan
2. Menghitung
korelasi populasi yang dikoreksi oleh kesalahan pengukuran
3. Interval
kepercayaan
4. Dampak
variasi reliabilitas
G. Standar
yang Dipakai untuk Evaluasi Meta
Evaluasi
program dapat diketahui apakah baik atau buruk, maka Anda memerlukan sejumlah
kriteria atau standar sebagai dasar pertimbangan. Ada beberapa kriteria dan
standar yang telah ada untuk menilai evaluasi, yaitu Standar for
Evaluations of Educational Programs, and Materials yang dibuat
oleh The Joint Commette on Standard for Educational Evaluation. Standar
ini digolongkan menjadi tiga puluh standar atas empat domain evaluasi
yaitu utility (evaluasi harus berguna dan praktis), feasibility (evaluasi
harus realistik dan bijaksana), propriety (evaluasi harus dilakukan
dengan legal dan etik), dan accuracy(evaluasi harus secara tehnik
adekuat). Daftar standar tersebut adalah sebagai berikut :
1. Utility Standar
Utility
Standar dimaksudkan untuk meyakinkan bahwa evaluasi akan
memberikan informasi yang praktis yang diperlukan oleh audiensi. Kriterium
standar tersebut adalah :
1.1. Audience Identification
Audiensi
yang terlibat dan akan dipengaruhi oleh evaluasi diidentifikasi, sehingga
kebutuhan mereka terpenuhi.
1.2. Evaluator Credibility
Orang-orang
yang melakukan evaluasi harus orang yang jujur dapat dipercaya dan mampu
melakukan evaluasi, sehingga penemuannya dapat dipercaya dan dapat diterima.
1.3. Information Scope and Selection
Informasi
yang dikumpulkan harus dibatasi dan dipilih sedemikian rupa untuk menjawab
pertanyaan-pertanyaan yang telah direncanakan dan menjawab kebutuhan serta
minat audiensi.
1.4. Valuational Interpretation
Perspektif,
prosedur, dan rasional yang dipakai untuk menafsirkan penemuan yang dijelaskan
dengan hati-hati dan cermat sehingga dasar pertimbangan yang dipakai jelas.
1.5. Report Clarity
Laporan
evaluasi harus menjelaskan objek yang sedang dievaluasi, konteks, tujuan,
prosedur, dan penemuan evaluasi, sehingga audiensi akan mengetahui apa yang
sedang dikerjakan, mengapa dikerjakan, informasi apa yang ada, apa
kesimpulannya, dan apa saran-saran yang diberikan.
1.6. Report Dissemination
Penemuan
evaluasi harus disebarkan kepada klien. Audiensi berhak mengetahui agar mereka
dapat menilai dan memakai penemuan.
1.7. Report Timeliness
Memberikan
laporan harus tepat waktu, supaya audien dapat memakai informasi sebaik-baiknya
pada saat yang tepat.
1.8. Evaluation Impact
Evaluasi
harus direncanakan dan dilakukan dengan cara sedemikian rupa sehingga mendorong
audiensi yang lain ikut serta.
2. Feasibility Standards
Feasibility
Standards dimaksudkan untuk meyakinkan bahwa evaluasi akan
realistik, bijaksana, diplomatik, dan cermat, sebagai berikut :
2.1. Practical Procedur
Prosedur evaluasi
harus praktis, sehingga gangguan dapat dihindari dan informasi yang diperlukan
dapat diperoleh dengan lancar.
2.2. Political Viability
Evaluasi
harus direncanakan dan dilakukan dengan memperkirakan perbedaan posisi dan
kondisi di antara kelompok yang berminat, sehingga kerjasama dengan mereka
dapat dilakukan dan segala kemungkinan kelompok untuk mengurangi manfaat, bias,
salah pakai atau salah tafsir dapat dihindari.
2.3. Cost Effectiveness
Evaluasi
harus memberikan informasi yang mutunya cukup untuk mewakili sumber-sumber yang
ada.
3. Propriety Standards
Propriety
Standards dimaksudkan untuk meyakinkan bahwa evaluasi akan dilakukan dengan
legal dan etik demi kepentingan dan keamanan mereka yang terlibat, dan juga
bagi mereka yang akan dipengaruhi oleh hasilnya. Standard tersebut adalah :
3.1. Formal Obligation
Kewajiban-kewajiban
yang harus dilakukan oleh pihak tertentu harus tertulis dan disetujui oleh
mereka (apa yang harus dilakukan, bagaimana, oleh siapa, dan kapan) serta harus
ditaati.
3.2. Conflict of Interest
Minat yang
berlawanan sering sulit dihindari, harus diatasi dengan terbuka dan musyawarah,
sehingga tidak akan mempengaruhi proses atau hasil evaluasi.
3.3. Full and Frank Disclosure
Laporan
evaluasi lisan maupun tertulis harus dibuat terbuka, langsung, dan jujur dalam
mengungkapkan penemuan, termasuk keterbatasan-keterbatasan evaluasi.
3.4. Public’s Right to Know
Pihak
pemakai formal evaluasi harus menghormati hak masyarakat untuk mengetahui dalam
batas-batas tertentu, seperti keselamatan dan hak pribadi.
3.5. Right of Human Subject
Evaluasi
harus didesain dan dilakukan sehingga hak dan pribadi manusia terlindung.
3.6. Human Interaction
Evaluator
harus menghormati harkat manusia dan saling menghargai dalam pergaulan juga
dalam hal-hal yang berhubungan dengan evaluasi.
3.7. Balanced Reporting
Evaluasi
harus lengkap dan fair, tidak hanya menampilkan kelebihan-kelebihannya, tetapi
juga keterbatasan-keterbatasan yang ada pada program, sehingga keterbatasan
tersebut akan dapat diatasi atau dikurangi.
3.8. Fiscal Responsibility
Biaya yang
dipakai oleh evaluator dalam menjalankan tugasnya harus ada
pertanggungjawabannya secara etik dan hukum.
4. Accuracy Standards
Standar
akurasi ini bertujuan untuk meyakinkan bahwa evaluasi akan menyajikan informasi
yang secara tehnik adekuat tentang objek yang dievaluasi dan tentang kegunaan
atau manfaatnya. Standar tersebut adalah :
4.1. Objek Identification
Objek
evaluasi (program, proyek, materi) harus dipelajari sungguh-sungguh, sehingga komponen-komponen
di dalam proyek dapat diidentifikasikan dengan jelas.
4.2. Contect Analysis
Konteks di
mana program, proyek, atau materi berada harus dipelajari sampai rinci,
sehingga pengaruhnya dalam evaluasi dapat diidentifikasi.
4.3.Discribed Purposes and Procedure
Tujuan dan
prosedur evaluasi harus terus dimonitor dan diterangkan sampai rinci, sehingga
dapat diidentifikasi dan dinilai.
4.4. Defensible Information Sources
Sumber-sumber
informasi harus diterangkan sampai rinci, sehingga adekuasi informasi dapat
dinilai.
4.5. Valid Measurement
Instrumen
dan prosedur pengumpulan data harus dipilih dan dipakai sedemikian rupa
sehingga penafsiran valid, dan tepat.
4.6. Reliable Measurement
Instrumen
dan pengumpulan data harus dipilih dan dikembangkan sehingga realibilitasnya
terjamin.
4.7.Systematic Data Control
Pengumpulan
data, proses, dan laporan dalam evaluasi harus direviu, dan dikoreksi sehingga
hasil evaluasi tidak akan dicela.
4.8. Analysis of Quantitative Information
Informasi
evaluasi kuantitatif harus dianalisis secara sistematis untuk meyakinkan
penafsiran yang didukungnya.
4.9. Analysis of Qualitative Information
Informasi
evaluasi kualitatif harus dianalisis secara sistematis untuk meyakinkan
penafsiran yang didukungnya.
4.10.
Justified Conclutions
Kesimpulan
dibuat harus secara eksplisit, sehingga audiensi dapat menilainya.
4.11. Objective Reporting
Prosedur
evaluasi harus dibuat seaman mungkin sehingga penemuannya dapat terlindung dari
pencemaran dan kerusakan dari perasaan pribadi dan bias dari pihak manapun.
H. Petunjuk
Umum dan Langkah-langkah Melakukan Evaluasi Meta
Evaluator
disarankan untuk meminta evaluator internal dan evaluator eksternal mereviu
evaluasi pada saat-saat tertentu yaitu pada saat rencana evaluasi, pada interval-interval
dalam periode-periode tertentu saat evaluasi masih dalam proses untuk
mengidentifikasi masalah-masalah, dan pada akhir evaluasi. Juga diminta
untuk mereviu penemuan dan laporan serta memeriksa prosedur dan kesimpulan.
Banyak evaluator meminta evaluator internal dan eksternal untuk mereviu
evaluasinya.
Reviu
internal dapat dilakukan oleh dewan penasehat evaluasi. Sedang apabila evaluasi
dalam proses, evaluator dapat meminta pendapat para pemegang saham dan para
karyawan program meminta reaksi mereka terhadap rencana evaluasi,
implementasinya, waktunya, dan biaya setiap kegiatan evaluasi, serta revisi
apabila ada. Kesemua ini merupakan laporan progres evaluasi yang amat berguna
bagi klien.
Reviu
eksternal paling baik dilakukan oleh pihak luar yang tak berminat akan hasil
evaluasi yang telah mempunyai pengalaman dalam evaluasi yang serupa. Bila
evaluator eksternal dipanggil sedini mungkin, mereka dapat diminta bantuan
untuk melihat desain program dan meminta rekomendasinya untuk memperkuat desain.
Pengamat eksternal dapat membantu urusan tehnik selama proses evaluasi dan pada
akhir evaluasi, melihat prosedur, penemuan, dan laporan evaluasi. Pengamat
eksternal mungkin dapat merencanakan kunjungan pada periode reviu untuk lebih
dapat mengenal dan melihat dari dekat fail, instrumen, data, laporan, dan
audiensi. Pekerjaan ini menuntut pengetahuan tentang mengapa dan di mana
menilai informasi evaluasi yang penting. Evaluator harus dapat memperlihatkan
bagaimana evaluasi mengikuti rekomendasi dari pengamat eksternal.
Langkah-langkah
melakukan evaluasi meta, sebuah desain evaluasi yang dikemukakan oleh Worthen,
Blain R, dan James R. Sanders (1983) sebagai berikut :
1. Siapkan satu salinan desain yang siap untuk
direviu.
Evaluasi
meta formatif disarankan sesegera mungkin setelah desain selesai dirumuskan
supaya reviu produktif.
2. Tentukan siapa yang akan melakukan
evaluasi meta.
3. Pastikan bahwa ada hak untuk melakukan
evaluasi meta.
Jika
kita seorang sponsor atau klien dan kita menerima desain untuk dievaluasi dari
seoang evaluator yang membuat kontrak dengann anda untuk melakukan evaluasi,
dalam hal ini kita bebas mengevaluasi dan tidak ada larangan bagi kita untuk
meminta bantuan seorang meta evaluator.
4. Gunakan standar atau kriteria meta evaluasi
untuk melakukan evaluasi meta.
Apabila
sponsor atau klien yang melakukan evaluasi meta itu urusannya
menentukankriteria evaluasi, tetapi apabila ia seorang evaluator spesialis,
maka hendaknya menggunakan kriteria atau standar yang telah disepakati antara
evaluator atau sponsor tersebut.
5. Gunakan kriteria atau standar evaluasi pada
desain kita.
Beberapa
kriteria evaluasi meta melampirkan alat bantu untuk mengaplikasikan kriteria
yang diberikannya. Misalnya, dengan ceklis yang dilampirkan pada saetiap
publikasinya. Apabila tidak, disarankan untuk membuat ceklis sendiri.
6. Periksa kecermatan desain evaluasi (adequacy).
Tidak ada
satu desainpun yang sempurna. Oleh sebab itu, perlu dilihat kembali apakah
desain perlu disesuaikan dengan situasi dan kondisi program.
I. Masalah
Evaluasi dan Cara Pemecahannya
Permasalahan
evaluasi merupakan hal penting yang harus dijelaskan terlebih dahulu dalam
pembuatan evaluasi. Hal ini wajar karena pada intinya suatu evaluasi dibuat
adalah menjawab suatu permasalahan. Adanya kegiatan evaluasi dikarenakan adanya
suatu masalah yang ingin dipecahkan atau ingin dijawab. Untuk itu pembaca suatu
laporan evaluasi perlu mengetahui terlebih dahulu masalah yang dikaji,
ditelaah, atau hendak dijawab/dipecahkan melalui evaluasi yang dilaporkan itu.
Segi-segi
mengenai evaluasi bisa mencakup beberapa hal, seperti bagaimana rumusan
masalahnya, latar belakang mengapa masalah tersebut dipilih untuk dievaluasi,
apa tujuan yang ingin dicapai dengan mengevaluasi masalah tersebut, dan tinjauan
teori/kepustakaan/ hasil-hasil evaluasi sebelumnya yang berkaitan dengan
evaluasi tersebut.
Setiap
evaluasi sedikit banyak mengandung bias dari keputusan yang diambil evaluator
tentang apa yang akan diuji, instrumen yang dipakai, kepada siapa akan dibicarakan,
dan siapa yang mendengar, semua mempengaruhi hasil evaluasi. Bahkan latar
belakang pribadi evaluator, pendidikan, dan pengalaman juga mempengaruhi cara
evaluasi dilaksanakan.
Berdasarkan
pada kenyataan di atas maka tidak mudah menjadi seorang evaluator, karena
banyak syarat yang harus dipenuhi oleh seorang evaluator agar evaluasi yang
dihasilkan benar-benar dapat dipercaya dan dipertanggungjawabkan. Seringkali
evaluasi yang dibuat oleh seorang evaluator mengandung sesuatu yang bias, hal
ini dapat terjadi disebabkan oleh kurangnya kemampuan dari evaluator itu
sendiri maupun adanya faktor dari luar yang punya kepentingan dari evaluasi
tersebut.
Suatu
evaluasi agar dapat menghasilkan evaluasi yang benar-benar baik dan dapat
dipercaya maka evaluasi tersebut harus dievaluasi kembali, yang kemudian kita
kenal dengan evaluasi meta.
Evaluasi
meta sebagai evaluasi yang lebih tinggi dapat menghasilkan suatu evaluasi yang
benar-benar baik dan dapat dipercaya, maka agar dapat menemukan dan memecahkan
atau menjawab masalah evaluasi diperlukan prosedur-prosedur tertentu yang
bersifat metodologis. Aspek metodologis ini, dalam laporan evaluasi, biasanya
berisi penjelasan tentang tipe pendekatan evaluasi yang digunakan (survei atau
sensus), tahap-tahap evaluasi meta program, tehnik-tehnik untuk mencapai
standar evaluasi meta (utility, feasibility, propriety dan accuracy), populasi
dan sampel evaluasi meta, metode pengumpulan data dan instrumentasi, serta
strategi analisis data.
J. Kontribusi
Evaluasi Meta terhadap Evaluasi Program
Evaluasi
meta sebagai evaluasi yang lebih tinggi sangat besar sumbangannya bagi kemajuan
evaluasi program. Evaluasi meta dapat dilakukan bersama kegiatan evaluasi yang
biasa atau rutin untuk perbaikan sehingga evaluasi akan bertambah baik. Jika
pada evaluasi biasa kita belum menghasilkan suatu evaluasi yang baik dan dapat
dipercaya karena berbagai macam faktor, baik berasal dari evaluator itu sendiri
maupun dari luar maka evaluasi meta merupakan solusi terbaik dalam memecahkan
masalah tersebut. Evaluasi meta dapat juga dilakukan ketika sedang mengevaluasi
atau sesudah evaluasi selesai, hal ini dilaksanakan agar kita memperoleh
informasi tentang apa yang telah kita lakukan.
Evaluasi
meta dapat dikembangkan selagi dalam proses dengan tujuan evaluasi berikutnya
dapat lebih berhasil. Evalusi meta dapat digunakan untuk berbagai macam
keperluan. Evaluasi meta dapat digunakan untuk berbagai macam keperluan.
Evaluasi meta eksternal yaitu evaluasi yang dilakukan konsultan dari luar
program, dapat dipakai untuk melihat kebenaran dan menilai desain evaluasi,
melihat keprogresan program, serta untuk lebih meyakinkan dan lebih dapat
dipercaya. Laporan evaluasi meta internal, misalnya apabila disertai dengan
laporan evaluasi meta eksternal akan manjadi lebih dipercaya. Memakai evaluator
eksternal juga dapat memberikan dasar yang kuat untuk merevisi desain evaluasi
dan merevisi pekerjaan yang sedang dilakukan atau melaporkan evaluasi. Apabila
evaluasi sudah selesai, evaluasi ini dapat menolong Anda menentukan sejauhmana
kebenaran hasil evaluasi tersebut.
Evaluasi
meta dapat dipakai untuk merevisi suatu evaluasi dan juga dapat menolong kita
untuk terus dapat mengikuti kegiatan proses evaluasi (keep track). Usaha
evaluasi meta juga dapat membuat kita terus terlibat dan bertanggung jawab, dan
akan menambah kepercayaan atas evaluasi.
BAB III
PENUTUP
1. Istilah Meta
evaluation atau evaluasi meta pertama kali dikemukakan oleh....
a. Michael Scriven
b.
Worthen
c. Blain R
d. James R.
Sanders
2. Standar yang dimaksudkan
untuk meyakinkan bahwa evaluasi akan memberikan informasi yang praktis yang
diperlukan oleh audiensi adalah....
a. Utility Standar
b. Feasibility Standards
c. Propriety
Standards
d. Accuracy Standards
3. Standar yang dimaksudkan untuk meyakinkan
bahwa evaluasi akan realistik, bijaksana, diplomatik, dan cermat adalah....
a. Utility Standar
b. Feasibility Standards
c. Propriety
Standards
d. Accuracy Standards
4. Standar yang dimaksudkan untuk meyakinkan
bahwa evaluasi akan dilakukan dengan legal dan etik demi kepentingan dan
keamanan mereka yang terlibat, dan juga bagi mereka yang akan dipengaruhi oleh
hasilnya adalah....
a. Utility Standar
b. Feasibility Standards
c. Propriety
Standards
d. Accuracy Standards
5. Standar akurasi yang bertujuan
untuk meyakinkan bahwa evaluasi akan menyajikan informasi yang secara tehnik
adekuat tentang objek yang dievaluasi dan tentang kegunaan atau manfaatnya adalah ....
a. Utility Standar
b. Feasibility Standards
c. Propriety
Standards
d. Accuracy Standards
6. Audiensi yang
terlibat dan akan dipengaruhi oleh evaluasi diidentifikasi, sehingga kebutuhan
mereka terpenuhi adalah kriteria standar....
a. Audience Identification
b. Evaluator Credibility
c. Information Scope and Selection
d. Valuational Interpretation
7. Orang-orang yang melakukan evaluasi harus orang yang jujur dapat dipercaya
dan mampu melakukan evaluasi, sehingga penemuannya dapat dipercaya dan dapat
diterima adalah
kriteria standar....
a. Audience Identification
b. Evaluator Credibility
c. Information Scope and Selection
d. Valuational Interpretation
8. Informasi yang dikumpulkan harus dibatasi dan dipilih sedemikian rupa untuk
menjawab pertanyaan-pertanyaan yang telah direncanakan dan menjawab kebutuhan
serta minat audiensi adalah kriteria standar....
a. Audience Identification
b. Evaluator Credibility
c. Information Scope and Selection
d. Valuational Interpretation
9. Perspektif, prosedur, dan rasional yang dipakai untuk menafsirkan penemuan
yang dijelaskan dengan hati-hati dan cermat sehingga dasar pertimbangan yang
dipakai jelas adalah kriteria standar....
a. Audience Identification
b. Evaluator Credibility
c. Information Scope and Selection
d. Valuational Interpretation
10. Laporan evaluasi harus
menjelaskan objek yang sedang dievaluasi, konteks, tujuan, prosedur, dan
penemuan evaluasi, sehingga audiensi akan mengetahui apa yang sedang
dikerjakan, mengapa dikerjakan, informasi apa yang ada, apa kesimpulannya, dan
apa saran-saran yang diberikan adalah kriteria standar....
a. Report Clarity
b. Report
Dissemination
c. Report
Timeliness
d. Evaluation
Impact
11. Penemuan evaluasi harus disebarkan kepada klien. Audiensi berhak mengetahui
agar mereka dapat menilai dan memakai penemuan adalah kriteria standar....
a. Report
Clarity
b. Report Dissemination
c. Report
Timeliness
d. Evaluation
Impact
12. Memberikan laporan harus tepat
waktu, supaya audien dapat memakai informasi sebaik-baiknya pada saat yang
tepat adalah
kriteria standar....
a. Report
Clarity
b. Report
Dissemination
c. Report Timeliness
d. Evaluation
Impact
13. Evaluasi harus direncanakan dan
dilakukan dengan cara sedemikian rupa sehingga mendorong audiensi yang lain
ikut serta adalah kriteria standar....
a. Report
Clarity
b. Report
Dissemination
c. Report
Timeliness
d. Evaluation Impact
14. Kewajiban-kewajiban
yang harus dilakukan oleh pihak tertentu harus tertulis dan disetujui oleh
mereka (apa yang harus dilakukan, bagaimana, oleh siapa, dan kapan) serta harus
ditaati adalah
kriteria standar....
a. Formal Obligation
b. Conflict
of Interest
c. Full
and Frank Disclosure
d. Public’s Right to Know
15. Minat yang
berlawanan sering sulit dihindari, harus diatasi dengan terbuka dan musyawarah,
sehingga tidak akan mempengaruhi proses atau hasil evaluasi adalah
kriteria standar....
a. Formal
Obligation
b. Conflict of Interest
c. Full
and Frank Disclosure
d. Public’s Right to Know
DAFTAR PUSTAKA
Dr.
Wirawan, MSL, Sp.A, MM, M.Si, (2011), Evaluasi, Teori, Model, Standar,
Aplikasi, dan Profesi, PT Rajagrafindo Persada, Jakarta.
Dr.
Farida Yusuf Tayibnapis, M.Pd (2000), Evaluasi Program, PT Rineka Cipta,
Jakarta (http://www.evalu.org)
Elwood.J.M,(1988)
Critical Appraisal of Epidemiological Studies and Clinical Trial, Second Edition,Oxford
Universiy Press.
Hunter, J.E,& Schmidt,F.L.(1990)
Methods of Meta-Analysis,London:Sage
William R.King&Jun He,(2005)
Understanding the Role and Methods of Meta-Analysis in IS
Glass,
G.V. (1976) “Primary, Secondary, and Meta-Analysis of Research”, Review of
research in Education,
Helmi.A.V
(2005)Gaya Kelekatan Dan Model Mental Diri,Studi Meta
Jamie DeCoster
(2004) Meta-Analysis Notes,University of Alabama,USA
Tidak ada komentar:
Posting Komentar