blog abse aja: EVALUASI META

EVALUASI META

Diajukan Untuk Memenuhi Tugas Mandiri Mata Kuliah

Evaluasi Program Pendidikan

Dosen pengampu Prof. Dr. H. Abdul Madjid Latief, MM, M.Pd

Disusun oleh

ABDUL. S.E

MAGISTER ADMINISTRASI PENDIDIKAN

PROGRAM PASCA SARJANA

UNIVERSITAS MUHAMMADIYAH PROF. DR. HAMKA

TAHUN 2011

BAB I

PENDAHULUAN

A. Latar Belakang

Evaluasi program adalah proses untuk mengetahui apakah tujuan suatu program atau pendidikan sudah terealisasikan. Evaluasi program juga dapat didefinisikan sebagai upaya menyediakan informasi untuk disampaikan kepada pengambilan keputusan.

Setiap evaluasi sedikit banyak mengandung bias dari keputusan yang diambil evaluator tentang apa yang akan diuji, instrumen yang dipakai, kepada siapa akan dibicarakan, dan siapa yang mendengar, semua mempengaruhi hasil evaluasi. Bahkan latar belakang pribadi evaluator, pendidikan, dan pengalaman juga mempengaruhi cara evaluasi dilaksanakan.

Seorang evaluator dalam melaksanakan suatu evaluasi agar dapat memperoleh hasil evaluasi yang sebaik-baiknya harus memenuhi beberapa persyaratan diantaranya; (1) memahami materi yaitu memahami tentang seluk beluk program yang dievaluasi, (2) menguasai tehnik, yaitu menguasai cara-cara atau tehnik yang digunakan dalam melaksanakan evaluasi program, (3) obyektif dan cermat, dan (4) jujur dan dapat dipercaya. Apabila seorang evaluator yang melakukan evaluasi suatu program tetapi tidak memenuhi persyaratan tersebut tentunya hasil evaluasi yang diperoleh hasilnya tidak efisien dan akurat serta tidak dapat dipercaya .

Baik evaluator maupun klien harus sadar akan bias pada evaluasi. Evaluator, karena standar pribadi dan reputasi dirinya juga akan diuji klien karena ia tidak mau mempertaruhkan uang maupun kebijaksanaannya untuk evaluasi yang di bawah target. Keduanya akan menderita kerugian banyak apabila ternyata evaluasi tidak efisien. Untuk mengatasi permasalahan-permasalahan evaluasi di atas maka suatu evaluasi harus dievaluasi kembali, evaluasi semacam ini yang kemudian kita kenal dengan nama evaluasi meta. Oleh sebab itu evaluasi meta atau mengevaluasi penting adanya.

Trend terkini dari penelitian sintesis adalah melakukan analisis terhadap sebuah analisis yang telah ada sebelumnya,yaitu penelitian-penelitian terdahulu. Metode inilah yang disebut meta analysis. Dibandingkan dengan 3 metode review artikel lainnya (Narrative Review,Descriptive Review, dan Vote Counting), meta-analysis merupakan metode yang paling konsern pada pendekatan kuantitatif.

Meta-analysis lebih tidak bersifat subjektif dibandingkan dengan metode tinjauan lain. Meta analysis tidak fokus pada kesimpulan yang didapat pada berbagai studi, melainkan fokus pada data, seperti melakukan operasi pada variabel- variabel, besarnya ukuran efek, dan ukuran sampel. Untuk mensintesis literatur riset, meta-analysis statistikal menggunakan hasil akhir dari studi-studi yang serupa seperti ukuran efek, atau besarnya efek. Fokus pada ukuran efek dari penemuan empiris ini merupakan keunggulan meta-analysis dibandingkan dengan metode tinjauan literatur lain.

Meta-analysis memungkinkan adanya pengkombinasian hasil-hasil yang beragam dan memperhatikan ukuran sampel relatif dan ukuran efek. Hasil dari tinjauan ini akurat mengingat jangkauan analisis ini yang sangat luas dan analisis yang terpusat. Meta-analysis juga menyediakan jawaban terhadap masalah yang diperdebatkan karena adanya konflik dalam penemuan-penemuan beragam studi serupa.

B. Tujuan Penulisan

Bagian ini dirancang untuk memperkenalkan apa yang dimaksud dengan evaluasi meta serta langkah-langkah pelaksanaannya. Pembahasannya ditekankan pada pengertian evaluasi meta dan siapa yang melakukan evaluasi meta. Sama juga seperti mengevaluasi proyek atau porgram, evaluasi juga dapat dievaluasi yang disebut evaluasi meta. Tuntutan untuk seorang evaluator tinggi, tetapi tuntutan terhadap seorang evaluator meta lebih tinggi.

Pembahasan berikutnya diarahkan pada pengenalan standar yang dipakai dalam mengevaluasi meta dan petunjuk umum melaksanakan evaluasi meta. Ada empat standar yang dipakai dalam evaluasi meta; utility standard, feasibility standard, propriety standards dan accuracy standard.

BAB II

PEMBAHASAN

A. Pengertian Evaluasi Meta

Istilah Meta evaluation atau evaluasi meta pertama kali dikemukakan oleh Michael Scriven (Daniel L. Stufflebeam, 1974). Evaluasi meta adalah mengevaluasi hasil suatu evaluasi. Lebih spesifik evaluasi meta menilai evaluasi primer (hasil suatu evaluasi) dengan standar evaluasi yang disusun oleh asosiasi profesi evaluasi atau organisasi evaluasi untuk menentukan apakah evaluasi primer tersebut telah dilaksanakan sesuai dengan standar evaluasi, yaitu Standards for Evaluations of Educational Programs, Projects, and Material yang dikembangkan oleh Joint Committee on Standards for Educational Evaluation.

Dalam evaluasi meta objek evaluasinya adalah evaluasi primer, yaitu hasil evaluasi yang dilaksanakan oleh evaluator. Evaluasi primer dinilai berdasarkan standar evaluasi dan hasilnya dapat bernilai sangat tinggi sampai sangat rendah. Jika hasil evaluasi meta nilainya tinggi, evaluasi primer memenuhi standar evaluasi, maka dapat dipergunakan untuk mengambil keputusan mengenai objek evaluasi primer, jika nilainya rendah, maka tidak dapat digunakan untuk mengambil keputusan.

Dalam merencanakan dan melaksanakan evaluasi, evaluator, klien dan pemangku kepentingan menghadapi bias. Evaluator menghadapi bias dalam hal:

a. Mendefinisikan objek yang dievaluasi

b. Menentukan klien dan pemangku kepentingan

c. Metode apa yang dipergunakan

d. Model evaluasi yang dipilih

e. Instrumen yang dipergunakan

f. Sumber informasi

g. Evaluator dapat mempunyai konflik interes

h. Dalam merancang dan melaksanakan evaluasi evaluator tidak memperhatikan standar evaluasi

i. Teknik menganalisis dan menyimpulkan data mungkin tidak memenuhi kaidah-kaidah evaluasi.

Bahkan latar belakang, pengalaman dan posisi evaluator, khususnya evaluator internal sangat mempengaruhi evaluasi yang dilaksanakannya.

Beberapa pengertian Meta Analysis yang dikemukakan oleh ahli:

Meta analisis merupakan analisis kuantitatif dan menggunakan sejumlah data yang cukup banyak serta menerapkan metode statistik dengan mempraktekkannya dalam mengorganisasikan sejumlah informasi yang berasal dari sampel besar yang fungsinya untuk melengkapi maksud-maksud lainnya (Glass, 1981). Dengan kata lain, meta analisis adalah suatu bentuk penelitian kuantitatif yang menggunakan angka-angka dan metode statistik dari beberapa hasil penelitian untuk mengorganisasikan dan menggali informasi sebanyak mungkin dari data yang diperoleh, sehingga mendekati kekomprehensifan dengan maksud-maksud lainnya.Salah satu syarat yang diperlukan dalam melakukan meta analisis adalah pengkajian terhadap hasil-hasil penelitian yang sejenis.

Meta analisis adalah suatu analisis integratif sekunder dengan menerapkan prosedur statistik terhadap hasil-hasil pengujian hipotesis penelitian. Menurut Glass (1981), analisis sekunder itu merupakan analisis ulang (reanalysis) terhadap data untuk tujuan menjawab pertanyaan penelitian dengan teknik-teknik statistik yang lebih baik atau menjawab pertanyaan-pertanyaan baru dengan data lama yang dimiliki. Analisis sekunder merupakan suatu ciri-ciri penting terhadap riset dan kegiatan evaluasi. Soekamto (1988) mengatakan bahwa sifat meta analisis antara lain kuantitatif, dan memakai analisis statistik untuk memperoleh seri informasi yang berasal dari sejumlah data dari penelitian-penelitian sebelumnya. Menurut Borg (1983) bahwa, meta analisis merupakan teknik pengembangan paling baru untuk menolong peneliti menemukan kekonsistenan atau ketidakkonsistenan dalam pengkajian hasil silang dari hasil penelitian.

Meta-analisis merupakan studi dengan cara menganalisis data yang berasal dari studi primer. Hasil analisis studi primer dipakai sebagai dasar untuk menerima atau mendukung hipotesis, menolak/menggugurkan hipotesis yang diajukan oleh beberapa peneliti (Sugiyanto, 2004). Lebih lanjut dikatakan oleh Sutjipto (1995) bahwa meta-analisis adalah salah satu upaya untuk merangkum berbagai hasil penelitian secara kuantitatif. Dengan kata lain, meta-analisis sebagai suatu teknik ditujukan untuk menganalisis kembali hasil-hasil penelitian yang diolah secara statistik berdasarkan pengumpulan data primer. Hal ini dilakukan untuk mengkaji keajegan atau ketidakjegan hasil penelitian yang disebabkan semakin banyaknya replikasi atau verifikasi penelitian,yang sering kali justru memperbesar terjadinya variasi hasil penelitian.

Prosedur meta evaluasi internal tidak terlalu formal, dapat dipakai untuk merevisi suatu evaluasi dan juga dapat menolong Anda untuk terus dapat mengikuti kegiatan proses evaluasi (keep track). Usaha evaluasi meta juga dapat membuat Anda terus terlibat dan bertanggung jawab, dan akan menambah kepercayaan atas evaluasi.Evaluasi meta dilakukan apabila Anda ingin mengamati dan meneliti desain dan fungsi evaluasi Anda. Evaluasi meta dapat dilakukan kapan saja, mulai dari ketika evaluasi dalam tahap perencanaan, ketika evaluasi dalam proses, dan bahkan pada saat evaluasi sudah selesai dilakukan.

Seorang evaluator evaluasi meta harus memiliki kompetensi yang tinggi dalam melakukan evaluasi, ia tidak hanya harus kompeten dalam melakukan evaluasi yang pokok, ia juga harus dapat mengetahui bahwa evaluasi itu jelek atau baik dan meyakinkan kepada orang lain akan hasil evaluasinya.

Brinkerhoff & Cs (1983) mengatakan bahwa evaluator meta eksternal biasanya lebih banyak dipilih daripada yang internal, karena orang luar mungkin dianggap lebih obyektif dan lebih terpercaya. Hal ini penting apabila Anda memikirkan reaksi orang-orang luar atas evaluasi Anda. Apabila evaluasi meta hanya untuk orang-orang dalam, maka evaluasi eksternal (dari kantor lain, orang dari bagian lain yang tidak ada hubungan langsung dengan proyek yang digarap, tetapi tetap dari departemen atau organisasi yang sama) dapat juga merupakan kesempatan yang baik untuk memperoleh pandangan yang segar.

Menurut Worthen, Blain R & James R. Sanders (1987), orang-orang yang patut melakukan evaluasi meta yaitu :

a. Evaluasi meta dilakukan oleh evaluator sendiri (original evaluator).

b. Evaluasi meta dilakukan oleh pemakai evaluasi.

c. Evaluasi meta dilakukan oleh evaluator ahli

B. Sejarah Evaluasi Meta

Sebenarnya sudah dipakai secara “implisit” pada tahun 1904. Namun baru memakai kata “meta-analysis” setelah Glass di tahun 1976 memakai istilah“meta-analysis” di dalam artikelnya. Meta Analisis dikembangkan oleh Gene Glass yang memperluas pengadopsian hasil penelitian oleh para peneliti. Metode ini meliputi penerimaan hasil penemuan masing-masing kajian pada effect size (D). Untuk studi yang membandingkan kelompok eksperimental dan kelompok kontrol, effect size dihitung dengan mengurangkan rerata skor terhadap kelompok kontrol pada dependent variable dari rerata kelompok eksperimen dan dibagi dengan simpangan baku kelompok kontrol.

Rumus-rumus yang sama dikembangkan untuk mengubah kebanyakan statistik inferensial, misalnya rasio t, rasio F persentase, dan koefisien korelasi bagi effect size tersebut. Rerata effect size untuk seluruh kajian dilibatkan dalam research review yang kemudian dihitung untuk mengestimasi tipe-tipe efek dari fenomena di bawah kajian tersebut.Rumus-rumus yang sama dikembangkan untuk mengubah kebanyakan statistik inferensial, misalnya rasio t, rasio F persentase, dan koefisien korelasi bagi effect size tersebut. Rerata effect size untuk seluruh kajian dilibatkan dalam research review yang kemudian dihitung untuk mengestimasi tipe-tipe efek dari fenomena di bawah kajian tersebut.

Dalam meta analisis semua kajian dengan bukti yang tersedia dihubungkan dengan pertanyaan penyelidikan yang dilibatkan, tanpa memperhatikan kualitas (ini merupakan salah satu kelemahan meta analisis). Glass mempertimbangkan pendekatan tersebut dengan menjelaskan bahwa secara metodologi, kajian tersebut seringkali melaporkan hasil-hasil yang sama untuk menemukannya di dalam kajian-kajian yang lebih tegas, dengan mengkombinasikan seluruh hasil kajian, yakni hasil yang dapat diterima dan yang lebih dapat dipercaya.

C. Kelebihan Dan Kekurangan Evaluasi Meta

Kelebihan Evaluasi Meta, antara lain:

1. Lebih sedikit subjektivitas dan judgement dibanding 3 metode lain.

2. Karena merupakan pendekatan kuantitatif, maka banyak mengambil sampel, sehingga hasil bisa lebih representatif. Hasil akhirnya dinamakan “effect size”.

3. Meta-analysis memungkinkan mengkombinasikan berbagai macam hasil penelitian yang telah ada sebelumnya.

4. Metode ini fokus pada pengakumulasian impact dari hasil-hasil yang tidak signifikan sehingga bisa menghasilkan suatu hasil yang signifikan.

5. Metode ini juga dapat menjwab pertanyaan seputar kesenjangan hasil yang terjadi dari studi yang bermacam-macam.

6. Pada penelitian bidang bisnis, Meta-analysis membuat organizational behaviour yang baik.

Sedangkan kekurangan Evaluasi Meta, antara lain:

1. Karena banyaknya sampel yang diambil, maka kemungkinan akan terjadi/memiliki sampel –sampel yang bias serta data-data yang tidak perlu (sampah).

2. Meta-analysis seringkali membuat hasil yang dipublikasikan hanya yang signifikan saja, sedangkan yang tidak signifikan tidak dipublikasikan.

3. Metode bersifat meng-aggregat-kan serta merata-ratakan sesuatu. Jadi sesuatu yang berbeda bisa jadi dipandang sama oleh metode ini.

4. Metode ini tidak cocok diterapkan bila sampel datanya kecil.

5. Bisa saja terjadi metodological error.

D. Perkembangan Evaluasi Meta

Kini evaluasi meta mulai berkembang, terutama setelah dikenalkan oleh Glass tahun 1976.

Analysis of Moderator Effects

Berikut ini adalah Metode umum dalam Detecting/Assessing Moderator Effects

- Graphing – OLS regression

- Q Stastistics (chi-square test) – WLS regression

- Variance analysis – Partition test

- Outlier test

Mediator Assessment Methods

Merupakan teknik yang penting dalam metode meta-analysis yang berfungsi untuk meng-address hubungan struktural, menganalisa apakah korelasi matriks dari populasi umum mendasari sebuah himpunan dari hasil empiris yang didapatkan. Ada dua alternatif pendekatan untuk mempelajari mediator effect,

yaitu:

1. mengkombinasi dan menganalisa korelasi pengembangan evaluasi meta

2. studi koefisien secara langsung dari kepentingan sebagai effect size.

E. Beberapa Penelitian Evaluasi Meta

Banyak penelitian yang menerapkan meta analisis. Xin Ma dan Kishor (1992) telah melakukan suatu penelitian meta analisis terhadap 113 penelitian utama. Kajian ini melakukan Penilaian Hubungan Sikap terhadap Matematika dan Prestasi Matematika. Hasil-hasil statistik pada kaijan ini digunakan untuk mentransformasikan ukuran pengaruh bersama untuk mengukur koefisien korelasi. Hubungan tersebut menemukan variabel terikat pada sejumlah variabel: kelas, latar belakang etnis, pemilihan sampel, ukuran sampel, dan publikasi data.

Underwood (1971) menemukan 16 penelitian eksperimen pada hubungan antara memori dan campur tangan pengintegrasian riset secara pasti. Desain baku dan mendekati baku pengukuran bersama dilakukan untuk kajian-kajian yang disarankan lebih cenderung menggabungkan bukti-bukti kuantitatif daripada yang bersifat tipikal dalam penelitian itu.

Rosenthal (1976) mengintegrasikan penemuan-penemuan beberapa ratus kajian eksperimental yang mengharapkan efek berada dalam riset tingkah laku (behavioral) tersebut. Teknik yang digunakan dan dia diskusikan terhadap metodologi sungguh seperti yang ditampilkan oleh Glass (1976), ada dua pemikiran (melahirkan keperluan yang sama). Selanjutnya, Sudman dan Bradburn dalam Glass (1976) mensintesis beberapa ratus kajian empirik terhadap “efek-efek jawaban” dalam riset surveinya. Selama lima tahun mereka bekerja untuk mempublikasikan pekerjaan mereka, metode yang dikembangkan, merekomendasikan penerapan berulang dan dalam wilayah yang berbeda: perlakuan terhadap kegagapan (Andrews, 1979), instruksi matematika modern vesus tradisional (Athappilly, 1980), perlakuan terhadap sakit kepala dan tensi sakit kepala (Blanchard, et al., 1980), instruksi sains “orientasi proses” (Bredderman, 1980), kecenderungan dominan khusus pendidikan siswa (Carlberg, 1979), penilaian siswa terhadap perintah dan prestasi siswa (Cohen, 1980), penilaian neuropsychologi anak (Davidson, 1978).

F. Metode Evaluasi Meta

Penelitian meta analisis ini merupakan penelitian yang menggunakan data sekunder berupa data-data dari hasil penelitian sebelumnya Dengan demikian penelitian ini dapat disebut sebagai penelitian yang bersifat ex post facto yang berbentuk survey dan analisis kepustakaan terhadap penelitian-penelitian yang telah dilakukan.

Ada beberapa cara yang dapat dilakukan untuk melaksanakan suatu meta analisis:

1. Glass (1981) = fokus pada deteksi dari moderator variabel.

2. Hedges dan Olkin (1985) = memakai teknik weighted least squares

3. Rosenthal dan Rubin (1991) = sama seperti Hedges-Olkin, bedanya hanya pada test signifikansi untuk mengkombinasikan effect size

4. Hunter dan Schmidt (1990) = bedanya dengan yang lain adalah metode ini berusaha mengkoreksi error potensial sebelum meta-analysis mengintegrasikan effect study antar studi.

Tehnik Hunter dan Schmidt lebih sering digunakan karena teknik ini dianggap oleh para peneliti sebagai teknik yang paling lengkap, karena selain dapat dipergunakan untuk mengkaji effect size, teknik Hunter Schimidt dapat juga dipergunakan untuk mengkoreksi kesalahan sebagai akibat error of measurement, maupun man made error (artifact) yang lain.

Dalam upaya melakukan sintesa dari beberapa penelitian, terlebih dahulu dilakukan koreksi terhadap artefak atau ketidaksempurnaan penelitian (Sugiyanto,2004). Hunter & Schmidt (1990) menyebutkan sedikitnya ada 11 artefak yaitu:

1. Kesalahan pengambilan sampel

2. Kesalahan pengukuran pada variabel dependen

3. Kesalahan pengukuran pada variabel independent

4. Dikotomi variabel dependen

5. Dikotomi variabel independent

6. Variasi rentangan dalam variabel independent

7. Artefak atrisi

8. Ketidaksempurnaan validitas konstruk pada variabel dependen

9. Ketidaksempurnaan validitas konstruk pada variabel independen

10.Kesalahan pelaporan atau transkripsi

11.Varians yang disebabkan oleh faktor luar.

Hunter, J.E., & Schmidt, F.L.(1990 )mengemukakan langkah-langkah/metode analisis korelasi meta-analisis dapat dilakukan dengan cara sebagai berikut:

a. Transformasi harga F ke dalam t, d, dan r

b. Bare Bone Meta Analysis: Koreksi Kesalahan sampel

1. Menghitung mean korelasi populasi

2. Menghitung varians rxy

3. Menghitung varians kesalahan pengambilan sampel

4. Dampak pengambilan sampel

c. Artefak yang lain: Koreksi Kesalahan Pengukuran

1. Menghitung mean gabungan

2. Menghitung korelasi populasi yang dikoreksi oleh kesalahan pengukuran

3. Interval kepercayaan

4. Dampak variasi reliabilitas

G. Standar yang Dipakai untuk Evaluasi Meta

Evaluasi program dapat diketahui apakah baik atau buruk, maka Anda memerlukan sejumlah kriteria atau standar sebagai dasar pertimbangan. Ada beberapa kriteria dan standar yang telah ada untuk menilai evaluasi, yaitu Standar for Evaluations of Educational Programs, and Materials yang dibuat oleh The Joint Commette on Standard for Educational Evaluation. Standar ini digolongkan menjadi tiga puluh standar atas empat domain evaluasi yaitu utility (evaluasi harus berguna dan praktis), feasibility (evaluasi harus realistik dan bijaksana), propriety (evaluasi harus dilakukan dengan legal dan etik), dan accuracy(evaluasi harus secara tehnik adekuat). Daftar standar tersebut adalah sebagai berikut :

1. Utility Standar

Utility Standar dimaksudkan untuk meyakinkan bahwa evaluasi akan memberikan informasi yang praktis yang diperlukan oleh audiensi. Kriterium standar tersebut adalah :

1.1. Audience Identification

Audiensi yang terlibat dan akan dipengaruhi oleh evaluasi diidentifikasi, sehingga kebutuhan mereka terpenuhi.

1.2. Evaluator Credibility

Orang-orang yang melakukan evaluasi harus orang yang jujur dapat dipercaya dan mampu melakukan evaluasi, sehingga penemuannya dapat dipercaya dan dapat diterima.

1.3. Information Scope and Selection

Informasi yang dikumpulkan harus dibatasi dan dipilih sedemikian rupa untuk menjawab pertanyaan-pertanyaan yang telah direncanakan dan menjawab kebutuhan serta minat audiensi.

1.4. Valuational Interpretation

Perspektif, prosedur, dan rasional yang dipakai untuk menafsirkan penemuan yang dijelaskan dengan hati-hati dan cermat sehingga dasar pertimbangan yang dipakai jelas.

1.5. Report Clarity

Laporan evaluasi harus menjelaskan objek yang sedang dievaluasi, konteks, tujuan, prosedur, dan penemuan evaluasi, sehingga audiensi akan mengetahui apa yang sedang dikerjakan, mengapa dikerjakan, informasi apa yang ada, apa kesimpulannya, dan apa saran-saran yang diberikan.

1.6. Report Dissemination

Penemuan evaluasi harus disebarkan kepada klien. Audiensi berhak mengetahui agar mereka dapat menilai dan memakai penemuan.

1.7. Report Timeliness

Memberikan laporan harus tepat waktu, supaya audien dapat memakai informasi sebaik-baiknya pada saat yang tepat.

1.8. Evaluation Impact

Evaluasi harus direncanakan dan dilakukan dengan cara sedemikian rupa sehingga mendorong audiensi yang lain ikut serta.

2. Feasibility Standards

Feasibility Standards dimaksudkan untuk meyakinkan bahwa evaluasi akan realistik, bijaksana, diplomatik, dan cermat, sebagai berikut :

2.1. Practical Procedur

Prosedur evaluasi harus praktis, sehingga gangguan dapat dihindari dan informasi yang diperlukan dapat diperoleh dengan lancar.

2.2. Political Viability

Evaluasi harus direncanakan dan dilakukan dengan memperkirakan perbedaan posisi dan kondisi di antara kelompok yang berminat, sehingga kerjasama dengan mereka dapat dilakukan dan segala kemungkinan kelompok untuk mengurangi manfaat, bias, salah pakai atau salah tafsir dapat dihindari.

2.3. Cost Effectiveness

Evaluasi harus memberikan informasi yang mutunya cukup untuk mewakili sumber-sumber yang ada.

3. Propriety Standards

Propriety Standards dimaksudkan untuk meyakinkan bahwa evaluasi akan dilakukan dengan legal dan etik demi kepentingan dan keamanan mereka yang terlibat, dan juga bagi mereka yang akan dipengaruhi oleh hasilnya. Standard tersebut adalah :

3.1. Formal Obligation

Kewajiban-kewajiban yang harus dilakukan oleh pihak tertentu harus tertulis dan disetujui oleh mereka (apa yang harus dilakukan, bagaimana, oleh siapa, dan kapan) serta harus ditaati.

3.2. Conflict of Interest

Minat yang berlawanan sering sulit dihindari, harus diatasi dengan terbuka dan musyawarah, sehingga tidak akan mempengaruhi proses atau hasil evaluasi.

3.3. Full and Frank Disclosure

Laporan evaluasi lisan maupun tertulis harus dibuat terbuka, langsung, dan jujur dalam mengungkapkan penemuan, termasuk keterbatasan-keterbatasan evaluasi.

3.4. Public’s Right to Know

Pihak pemakai formal evaluasi harus menghormati hak masyarakat untuk mengetahui dalam batas-batas tertentu, seperti keselamatan dan hak pribadi.

3.5. Right of Human Subject

Evaluasi harus didesain dan dilakukan sehingga hak dan pribadi manusia terlindung.

3.6. Human Interaction

Evaluator harus menghormati harkat manusia dan saling menghargai dalam pergaulan juga dalam hal-hal yang berhubungan dengan evaluasi.

3.7. Balanced Reporting

Evaluasi harus lengkap dan fair, tidak hanya menampilkan kelebihan-kelebihannya, tetapi juga keterbatasan-keterbatasan yang ada pada program, sehingga keterbatasan tersebut akan dapat diatasi atau dikurangi.

3.8. Fiscal Responsibility

Biaya yang dipakai oleh evaluator dalam menjalankan tugasnya harus ada pertanggungjawabannya secara etik dan hukum.

4. Accuracy Standards

Standar akurasi ini bertujuan untuk meyakinkan bahwa evaluasi akan menyajikan informasi yang secara tehnik adekuat tentang objek yang dievaluasi dan tentang kegunaan atau manfaatnya. Standar tersebut adalah :

4.1. Objek Identification

Objek evaluasi (program, proyek, materi) harus dipelajari sungguh-sungguh, sehingga komponen-komponen di dalam proyek dapat diidentifikasikan dengan jelas.

4.2. Contect Analysis

Konteks di mana program, proyek, atau materi berada harus dipelajari sampai rinci, sehingga pengaruhnya dalam evaluasi dapat diidentifikasi.

4.3.Discribed Purposes and Procedure

Tujuan dan prosedur evaluasi harus terus dimonitor dan diterangkan sampai rinci, sehingga dapat diidentifikasi dan dinilai.

4.4. Defensible Information Sources

Sumber-sumber informasi harus diterangkan sampai rinci, sehingga adekuasi informasi dapat dinilai.

4.5. Valid Measurement

Instrumen dan prosedur pengumpulan data harus dipilih dan dipakai sedemikian rupa sehingga penafsiran valid, dan tepat.

4.6. Reliable Measurement

Instrumen dan pengumpulan data harus dipilih dan dikembangkan sehingga realibilitasnya terjamin.

4.7.Systematic Data Control

Pengumpulan data, proses, dan laporan dalam evaluasi harus direviu, dan dikoreksi sehingga hasil evaluasi tidak akan dicela.

4.8. Analysis of Quantitative Information

Informasi evaluasi kuantitatif harus dianalisis secara sistematis untuk meyakinkan penafsiran yang didukungnya.

4.9. Analysis of Qualitative Information

Informasi evaluasi kualitatif harus dianalisis secara sistematis untuk meyakinkan penafsiran yang didukungnya.

4.10. Justified Conclutions

Kesimpulan dibuat harus secara eksplisit, sehingga audiensi dapat menilainya.

4.11. Objective Reporting

Prosedur evaluasi harus dibuat seaman mungkin sehingga penemuannya dapat terlindung dari pencemaran dan kerusakan dari perasaan pribadi dan bias dari pihak manapun.

H. Petunjuk Umum dan Langkah-langkah Melakukan Evaluasi Meta

Evaluator disarankan untuk meminta evaluator internal dan evaluator eksternal mereviu evaluasi pada saat-saat tertentu yaitu pada saat rencana evaluasi, pada interval-interval dalam periode-periode tertentu saat evaluasi masih dalam proses untuk mengidentifikasi masalah-masalah, dan pada akhir evaluasi. Juga diminta untuk mereviu penemuan dan laporan serta memeriksa prosedur dan kesimpulan. Banyak evaluator meminta evaluator internal dan eksternal untuk mereviu evaluasinya.

Reviu internal dapat dilakukan oleh dewan penasehat evaluasi. Sedang apabila evaluasi dalam proses, evaluator dapat meminta pendapat para pemegang saham dan para karyawan program meminta reaksi mereka terhadap rencana evaluasi, implementasinya, waktunya, dan biaya setiap kegiatan evaluasi, serta revisi apabila ada. Kesemua ini merupakan laporan progres evaluasi yang amat berguna bagi klien.

Reviu eksternal paling baik dilakukan oleh pihak luar yang tak berminat akan hasil evaluasi yang telah mempunyai pengalaman dalam evaluasi yang serupa. Bila evaluator eksternal dipanggil sedini mungkin, mereka dapat diminta bantuan untuk melihat desain program dan meminta rekomendasinya untuk memperkuat desain. Pengamat eksternal dapat membantu urusan tehnik selama proses evaluasi dan pada akhir evaluasi, melihat prosedur, penemuan, dan laporan evaluasi. Pengamat eksternal mungkin dapat merencanakan kunjungan pada periode reviu untuk lebih dapat mengenal dan melihat dari dekat fail, instrumen, data, laporan, dan audiensi. Pekerjaan ini menuntut pengetahuan tentang mengapa dan di mana menilai informasi evaluasi yang penting. Evaluator harus dapat memperlihatkan bagaimana evaluasi mengikuti rekomendasi dari pengamat eksternal.

Langkah-langkah melakukan evaluasi meta, sebuah desain evaluasi yang dikemukakan oleh Worthen, Blain R, dan James R. Sanders (1983) sebagai berikut :

1. Siapkan satu salinan desain yang siap untuk direviu.

Evaluasi meta formatif disarankan sesegera mungkin setelah desain selesai dirumuskan supaya reviu produktif.

2. Tentukan siapa yang akan melakukan evaluasi meta.

3. Pastikan bahwa ada hak untuk melakukan evaluasi meta.

Jika kita seorang sponsor atau klien dan kita menerima desain untuk dievaluasi dari seoang evaluator yang membuat kontrak dengann anda untuk melakukan evaluasi, dalam hal ini kita bebas mengevaluasi dan tidak ada larangan bagi kita untuk meminta bantuan seorang meta evaluator.

4. Gunakan standar atau kriteria meta evaluasi untuk melakukan evaluasi meta.

Apabila sponsor atau klien yang melakukan evaluasi meta itu urusannya menentukankriteria evaluasi, tetapi apabila ia seorang evaluator spesialis, maka hendaknya menggunakan kriteria atau standar yang telah disepakati antara evaluator atau sponsor tersebut.

5. Gunakan kriteria atau standar evaluasi pada desain kita.

Beberapa kriteria evaluasi meta melampirkan alat bantu untuk mengaplikasikan kriteria yang diberikannya. Misalnya, dengan ceklis yang dilampirkan pada saetiap publikasinya. Apabila tidak, disarankan untuk membuat ceklis sendiri.

6. Periksa kecermatan desain evaluasi (adequacy).

Tidak ada satu desainpun yang sempurna. Oleh sebab itu, perlu dilihat kembali apakah desain perlu disesuaikan dengan situasi dan kondisi program.

I. Masalah Evaluasi dan Cara Pemecahannya

Permasalahan evaluasi merupakan hal penting yang harus dijelaskan terlebih dahulu dalam pembuatan evaluasi. Hal ini wajar karena pada intinya suatu evaluasi dibuat adalah menjawab suatu permasalahan. Adanya kegiatan evaluasi dikarenakan adanya suatu masalah yang ingin dipecahkan atau ingin dijawab. Untuk itu pembaca suatu laporan evaluasi perlu mengetahui terlebih dahulu masalah yang dikaji, ditelaah, atau hendak dijawab/dipecahkan melalui evaluasi yang dilaporkan itu.

Segi-segi mengenai evaluasi bisa mencakup beberapa hal, seperti bagaimana rumusan masalahnya, latar belakang mengapa masalah tersebut dipilih untuk dievaluasi, apa tujuan yang ingin dicapai dengan mengevaluasi masalah tersebut, dan tinjauan teori/kepustakaan/ hasil-hasil evaluasi sebelumnya yang berkaitan dengan evaluasi tersebut.

Berdasarkan pada kenyataan di atas maka tidak mudah menjadi seorang evaluator, karena banyak syarat yang harus dipenuhi oleh seorang evaluator agar evaluasi yang dihasilkan benar-benar dapat dipercaya dan dipertanggungjawabkan. Seringkali evaluasi yang dibuat oleh seorang evaluator mengandung sesuatu yang bias, hal ini dapat terjadi disebabkan oleh kurangnya kemampuan dari evaluator itu sendiri maupun adanya faktor dari luar yang punya kepentingan dari evaluasi tersebut.

Suatu evaluasi agar dapat menghasilkan evaluasi yang benar-benar baik dan dapat dipercaya maka evaluasi tersebut harus dievaluasi kembali, yang kemudian kita kenal dengan evaluasi meta.

Evaluasi meta sebagai evaluasi yang lebih tinggi dapat menghasilkan suatu evaluasi yang benar-benar baik dan dapat dipercaya, maka agar dapat menemukan dan memecahkan atau menjawab masalah evaluasi diperlukan prosedur-prosedur tertentu yang bersifat metodologis. Aspek metodologis ini, dalam laporan evaluasi, biasanya berisi penjelasan tentang tipe pendekatan evaluasi yang digunakan (survei atau sensus), tahap-tahap evaluasi meta program, tehnik-tehnik untuk mencapai standar evaluasi meta (utility, feasibility, propriety dan accuracy), populasi dan sampel evaluasi meta, metode pengumpulan data dan instrumentasi, serta strategi analisis data.

J. Kontribusi Evaluasi Meta terhadap Evaluasi Program

Evaluasi meta sebagai evaluasi yang lebih tinggi sangat besar sumbangannya bagi kemajuan evaluasi program. Evaluasi meta dapat dilakukan bersama kegiatan evaluasi yang biasa atau rutin untuk perbaikan sehingga evaluasi akan bertambah baik. Jika pada evaluasi biasa kita belum menghasilkan suatu evaluasi yang baik dan dapat dipercaya karena berbagai macam faktor, baik berasal dari evaluator itu sendiri maupun dari luar maka evaluasi meta merupakan solusi terbaik dalam memecahkan masalah tersebut. Evaluasi meta dapat juga dilakukan ketika sedang mengevaluasi atau sesudah evaluasi selesai, hal ini dilaksanakan agar kita memperoleh informasi tentang apa yang telah kita lakukan.

Evaluasi meta dapat dikembangkan selagi dalam proses dengan tujuan evaluasi berikutnya dapat lebih berhasil. Evalusi meta dapat digunakan untuk berbagai macam keperluan. Evaluasi meta dapat digunakan untuk berbagai macam keperluan. Evaluasi meta eksternal yaitu evaluasi yang dilakukan konsultan dari luar program, dapat dipakai untuk melihat kebenaran dan menilai desain evaluasi, melihat keprogresan program, serta untuk lebih meyakinkan dan lebih dapat dipercaya. Laporan evaluasi meta internal, misalnya apabila disertai dengan laporan evaluasi meta eksternal akan manjadi lebih dipercaya. Memakai evaluator eksternal juga dapat memberikan dasar yang kuat untuk merevisi desain evaluasi dan merevisi pekerjaan yang sedang dilakukan atau melaporkan evaluasi. Apabila evaluasi sudah selesai, evaluasi ini dapat menolong Anda menentukan sejauhmana kebenaran hasil evaluasi tersebut.

Evaluasi meta dapat dipakai untuk merevisi suatu evaluasi dan juga dapat menolong kita untuk terus dapat mengikuti kegiatan proses evaluasi (keep track). Usaha evaluasi meta juga dapat membuat kita terus terlibat dan bertanggung jawab, dan akan menambah kepercayaan atas evaluasi.

BAB III

PENUTUP

1. Istilah Meta evaluation atau evaluasi meta pertama kali dikemukakan oleh....

a. Michael Scriven

b. Worthen

c. Blain R

d. James R. Sanders

2. Standar yang dimaksudkan untuk meyakinkan bahwa evaluasi akan memberikan informasi yang praktis yang diperlukan oleh audiensi adalah....

a. Utility Standar

b. Feasibility Standards

c. Propriety Standards

d. Accuracy Standards

3. Standar yang dimaksudkan untuk meyakinkan bahwa evaluasi akan realistik, bijaksana, diplomatik, dan cermat adalah....

a. Utility Standar

b. Feasibility Standards

c. Propriety Standards

d. Accuracy Standards

4. Standar yang dimaksudkan untuk meyakinkan bahwa evaluasi akan dilakukan dengan legal dan etik demi kepentingan dan keamanan mereka yang terlibat, dan juga bagi mereka yang akan dipengaruhi oleh hasilnya adalah....

a. Utility Standar

b. Feasibility Standards

c. Propriety Standards

d. Accuracy Standards

5. Standar akurasi yang bertujuan untuk meyakinkan bahwa evaluasi akan menyajikan informasi yang secara tehnik adekuat tentang objek yang dievaluasi dan tentang kegunaan atau manfaatnya adalah ....

a. Utility Standar

b. Feasibility Standards

c. Propriety Standards

d. Accuracy Standards

6. Audiensi yang terlibat dan akan dipengaruhi oleh evaluasi diidentifikasi, sehingga kebutuhan mereka terpenuhi adalah kriteria standar....

a. Audience Identification

b. Evaluator Credibility

c. Information Scope and Selection

d. Valuational Interpretation

7. Orang-orang yang melakukan evaluasi harus orang yang jujur dapat dipercaya dan mampu melakukan evaluasi, sehingga penemuannya dapat dipercaya dan dapat diterima adalah kriteria standar....

a. Audience Identification

b. Evaluator Credibility

c. Information Scope and Selection

d. Valuational Interpretation

8. Informasi yang dikumpulkan harus dibatasi dan dipilih sedemikian rupa untuk menjawab pertanyaan-pertanyaan yang telah direncanakan dan menjawab kebutuhan serta minat audiensi adalah kriteria standar....

a. Audience Identification

b. Evaluator Credibility

c. Information Scope and Selection

d. Valuational Interpretation

9. Perspektif, prosedur, dan rasional yang dipakai untuk menafsirkan penemuan yang dijelaskan dengan hati-hati dan cermat sehingga dasar pertimbangan yang dipakai jelas adalah kriteria standar....

a. Audience Identification

b. Evaluator Credibility

c. Information Scope and Selection

d. Valuational Interpretation

10. Laporan evaluasi harus menjelaskan objek yang sedang dievaluasi, konteks, tujuan, prosedur, dan penemuan evaluasi, sehingga audiensi akan mengetahui apa yang sedang dikerjakan, mengapa dikerjakan, informasi apa yang ada, apa kesimpulannya, dan apa saran-saran yang diberikan adalah kriteria standar....

a. Report Clarity

b. Report Dissemination

c. Report Timeliness

d. Evaluation Impact

11. Penemuan evaluasi harus disebarkan kepada klien. Audiensi berhak mengetahui agar mereka dapat menilai dan memakai penemuan adalah kriteria standar....

a. Report Clarity

b. Report Dissemination

c. Report Timeliness

d. Evaluation Impact

12. Memberikan laporan harus tepat waktu, supaya audien dapat memakai informasi sebaik-baiknya pada saat yang tepat adalah kriteria standar....

a. Report Clarity

b. Report Dissemination

c. Report Timeliness

d. Evaluation Impact

13. Evaluasi harus direncanakan dan dilakukan dengan cara sedemikian rupa sehingga mendorong audiensi yang lain ikut serta adalah kriteria standar....

a. Report Clarity

b. Report Dissemination

c. Report Timeliness

d. Evaluation Impact

14. Kewajiban-kewajiban yang harus dilakukan oleh pihak tertentu harus tertulis dan disetujui oleh mereka (apa yang harus dilakukan, bagaimana, oleh siapa, dan kapan) serta harus ditaati adalah kriteria standar....

a. Formal Obligation

b. Conflict of Interest

c. Full and Frank Disclosure

d. Public’s Right to Know

15. Minat yang berlawanan sering sulit dihindari, harus diatasi dengan terbuka dan musyawarah, sehingga tidak akan mempengaruhi proses atau hasil evaluasi adalah kriteria standar....

a. Formal Obligation

b. Conflict of Interest

c. Full and Frank Disclosure

d. Public’s Right to Know

DAFTAR PUSTAKA

Dr. Wirawan, MSL, Sp.A, MM, M.Si, (2011), Evaluasi, Teori, Model, Standar, Aplikasi, dan Profesi, PT Rajagrafindo Persada, Jakarta.

Dr. Farida Yusuf Tayibnapis, M.Pd (2000), Evaluasi Program, PT Rineka Cipta, Jakarta (http://www.evalu.org)

Elwood.J.M,(1988) Critical Appraisal of Epidemiological Studies and Clinical Trial, Second Edition,Oxford Universiy Press.

Hunter, J.E,& Schmidt,F.L.(1990) Methods of Meta-Analysis,London:Sage

Publication (http://depts.washington.edu/k30/ed.pdf)

William R.King&Jun He,(2005) Understanding the Role and Methods of Meta-Analysis in IS

Research. (http://www.encyclopedia.com/doc/1G1-11008717.html)