Evaluasi Meta

BAB I

PENDAHULUAN

A. Latar Belakang

Evaluasi program adalah proses untuk mengetahui apakah tujuan suatu program atau pendidikan sudah terealisasikan. Evaluasi program juga dapat didefinisikan sebagai upaya menyediakan informasi untuk disampaikan kepada pengambilan keputusan.

Setiap evaluasi sedikit banyak mengandung bias dari keputusan yang diambil evaluator tentang apa yang akan diuji, instrumen yang dipakai, kepada siapa akan dibicarakan, dan siapa yang mendengar, semua mempengaruhi hasil evaluasi. Bahkan latar belakang pribadi evaluator, pendidikan, dan pengalaman juga mempengaruhi cara evaluasi dilaksanakan.

Seorang evaluator dalam melaksanakan suatu evaluasi agar dapat memperoleh hasil evaluasi yang sebaik-baiknya harus memenuhi beberapa persyaratan diantaranya; (1) memahami materi yaitu memahami tentang seluk beluk program yang dievaluasi, (2) menguasai tehnik, yaitu menguasai cara-cara atau tehnik yang digunakan dalam melaksanakan evaluasi program, (3) obyektif dan cermat, dan (4) jujur dan dapat dipercaya. Apabila seorang evaluator yang melakukan evaluasi suatu program tetapi tidak memenuhi persyaratan tersebut tentunya hasil evaluasi yang diperoleh hasilnya tidak efisien dan akurat serta tidak dapat dipercaya .

Baik evaluator maupun klien harus sadar akan bias pada evaluasi. Evaluator, karena standar pribadi dan reputasi dirinya juga akan diuji klien karena ia tidak mau mempertaruhkan uang maupun kebijaksanaannya untuk evaluasi yang di bawah target. Keduanya akan menderita kerugian banyak apabila ternyata evaluasi tidak efisien. Untuk mengatasi permasalahan-permasalahan evaluasi di atas maka suatu evaluasi harus dievaluasi kembali, evaluasi semacam ini yang kemudian kita kenal dengan nama evaluasi meta. Oleh sebab itu evaluasi meta atau mengevaluasi penting adanya.

B. Tujuan Penulisan

Bagian ini dirancang untuk memperkenalkan apa yang dimaksud dengan evaluasi meta serta langkah-langkah pelaksanaannya. Pembahasannya ditekankan pada pengertian evaluasi meta dan siapa yang melakukan evaluasi meta. Sama juga seperti mengevaluasi proyek atau porgram, evaluasi juga dapat dievaluasi yang disebut evaluasi meta. Tuntutan untuk seorang evaluator tinggi, tetapi tuntutan terhadap seorang evaluator meta lebih tinggi.

Pembahasan berikutnya diarahkan pada pengenalan standar yang dipakai dalam mengevaluasi meta dan petunjuk umum melaksanakan evaluasi meta. Ada empat standar yang dipakai dalam evaluasi meta; utility standard, feasibility standard, propriety standards dan accuracy stadard.

BAB II

PEMBAHASAN

A. Pengertian dan Evaluator Evaluasi Meta

Evaluasi meta adalah mengevaluasi suatu evaluasi, yang dapat dilakukan bersama kegiatan evaluasi biasa atau rutin untuk perbaikan sehingga evaluasi akan bertambah baik. Evaluasi meta dapat dilakukan ketika sedang mengevaluasi atau sesudah evaluasi selesai, dilakukan untuk mengetahui apa yang telah dilakukan.

Evaluasi meta dilakukan berdasarkan pengetahuan bahwa evaluasi merupakan pelajaran pengalaman bagi mereka yang terlibat, sehingga evaluasi dapat dikembangkan selagi dalam proses, dan evaluasi berikutnya dapat lebih berhasil. Evaluasi meta dapat digunakan untuk berbagai macam keperluan. Evaluasi meta eksternal yaitu evaluasi yang dilakukan konsultan dari luar program, dapat dipakai untuk melihat kebenaran dan menilai desain evaluasi, melihat keprogresan program, serta untuk lebih meyakinkan dan lebih dapat dipercaya. Laporan evaluasi meta internal, misalnya apabila disertai dengan laporan evaluasi meta eksternal akan manjadi lebih dipercaya. Memakai evaluator eksternal juga dapat memberikan dasar yang kuat untuk merevisi desain evaluasi dan merevisi pekerjaan yang sedang dilakukan atau melaporkan evaluasi. Apabila evaluasi sudah selesai, evaluasi ini dapat menolong Anda menentukan sejauhmana kebenaran hasil evaluasi tersebut.

Prosedur meta evaluasi internal tidak terlalu formal, dapat dipakai untuk merevisi suatu evaluasi dan juga dapat menolong Anda untuk terus dapat mengikuti kegiatan proses evaluasi (keep track). Usaha evaluasi meta juga dapat membuat Anda terus terlibat dan bertanggung jawab, dan akan menambah kepercayaan atas evaluasi. Evaluasi meta dilakukan apabila Anda ingin mengamati dan meneliti desain dan fungsi evaluasi Anda. Evaluasi meta dapat dilakukan kapan saja, mulai dari ketika evaluasi dalam tahap perencanaan, ketika evaluasi dalam proses, dan bahkan pada saat evaluasi sudah selesai dilakukan.

Seorang evaluator evaluasi meta harus memiliki kompetensi yang tinggi dalam melakukan evaluasi, ia tidak hanya harus kompeten dalam melakukan evaluasi yang pokok, ia juga harus dapat mengetahui bahwa evaluasi itu jelek atau baik dan meyakinkan kepada orang lain akan hasil evaluasinya.

Brinkerhoff & Cs (1983) mengatakan bahwa evaluator meta eksternal biasanya lebih banyak dipilih daripada yang internal, karena orang luar mungkin dianggap lebih obyektif dan lebih terpercaya. Hal ini penting apabila Anda memikirkan reaksi orang-orang luar atas evaluasi Anda. Apabila evaluasi meta hanya untuk orang-orang dalam, maka evaluasi eksternal (dari kantor lain, orang dari bagian lain yang tidak ada hubungan langsung dengan proyek yang digarap, tetapi tetap dari departemen atau organisasi yang sama) dapat juga merupakan kesempatan yang baik untuk memperoleh pandangan yang segar.

Menurut Worthen, Blain R & James R. Sanders (1987), orang-orang yang patut melakukan evaluasi meta yaitu :

a. Evaluasi meta dilakukan oleh evaluator sendiri (original evaluator).

b. Evaluasi meta dilakukan oleh pemakai evaluasi.

c. Evaluasi meta dilakukan oleh evaluator ahli

B. Standar yang Dipakai untuk Evaluasi Meta

Evaluasi program dapat diketahui apakah baik atau buruk, maka Anda memerlukan sejumlah kriteria atau standar sebagai dasar pertimbangan. Ada beberapa kriteria dan standar yang telah ada untuk menilai evaluasi, yaitu Standar for Evaluations of Educational Programs, and Materials yang dibuat oleh The Joint Commette on Standard for Educational Evaluation. Standar ini digolongkan menjadi tiga puluh standar atas empat domain evaluasi yaitu utility (evaluasi harus berguna dan praktis), feasibility (evaluasi harus realistik dan bijaksana), propriety (evaluasi harus dilakukan dengan legal dan etik), dan accuracy (evaluasi harus secara tehnik adekuat). Daftar standar tersebut adalah sebagai berikut :

1. Utility Standar

Utility Standar dimaksudkan untuk meyakinkan bahwa evaluasi akan memberikan informasi yang praktis yang diperlukan oleh audiensi. Kriterium standar tersebut adalah :

1.1. Audience Identification

Audiensi yang terlibat dan akan dipengaruhi oleh evaluasi diidentifikasi, sehingga kebutuhan mereka terpenuhi.

1.2. Evaluator Credibility

Orang-orang yang melakukan evaluasi harus orang yang jujur dapat dipercaya dan mampu melakukan evaluasi, sehingga penemuannya dapat dipercaya dan dapat diterima.

1.3. Information Scope and Selection

Informasi yang dikumpulkan harus dibatasi dan dipilih sedemikian rupa untuk menjawab pertanyaan-pertanyaan yang telah direncanakan dan menjawab kebutuhan serta minat audiensi.

1.4. Valuational Interpretation

Perspektif, prosedur, dan rasional yang dipakai untuk menafsirkan penemuan yang dijelaskan dengan hati-hati dan cermat sehingga dasar pertimbangan yang dipakai jelas.

1.5. Report Clarity

Laporan evaluasi harus menjelaskan objek yang sedang dievaluasi, konteks, tujuan, prosedur, dan penemuan evaluasi, sehingga audiensi akan mengetahui apa yang sedang dikerjakan, mengapa dikerjakan, informasi apa yang ada, apa kesimpulannya, dan apa saran-saran yang diberikan.

1.6. Report Dissemination

Penemuan evaluasi harus disebarkan kepada klien. Audiensi berhak mengetahui agar mereka dapat menilai dan memakai penemuan.

1.7. Report Timeliness

Memberikan laporan harus tepat waktu, supaya audien dapat memakai informasi sebaik-baiknya pada saat yang tepat.

1.8. Evaluation Impact

Evaluasi harus direncanakan dan dilakukan dengan cara sedemikian rupa sehingga mendorong audiensi yang lain ikut serta.

2. Feasibility Standards

Feasibility Standards dimaksudkan untuk meyakinkan bahwa evaluasi akan realistik, bijaksana, diplomatik, dan cermat, sebagai berikut :

2.1. Practical Procedur

Prosedur evaluasi harus praktis, sehingga gangguan dapat dihindari dan informasi yang diperlukan dapat diperoleh dengan lancar.

2.2. Political Viability

Evaluasi harus direncanakan dan dilakukan dengan memperkirakan perbedaan posisi dan kondisi di antara kelompok yang berminat, sehingga kerjasama dengan mereka dapat dilakukan dan segala kemungkinan kelompok untuk mengurangi manfaat, bias, salah pakai atau salah tafsir dapat dihindari.

2.3. Cost Effectiveness

Evaluasi harus memberikan informasi yang mutunya cukup untuk mewakili sumber-sumber yang ada.

3. Propriety Standards

Propriety Standards dimaksudkan untuk meyakinkan bahwa evaluasi akan dilakukan dengan legal dan etik demi kepentingan dan keamanan mereka yang terlibat, dan juga bagi mereka yang akan dipengaruhi oleh hasilnya. Standard tersebut adalah :

3.1. Formal Obligation

Kewajiban-kewajiban yang harus dilakukan oleh pihak tertentu harus tertulis dan disetujui oleh mereka (apa yang harus dilakukan, bagaimana, oleh siapa, dan kapan) serta harus ditaati.

3.2. Conflict of Interest

Minat yang berlawanan sering sulit dihindari, harus diatasi dengan terbuka dan musyawarah, sehingga tidak akan mempengaruhi proses atau hasil evaluasi.

3.3. Full and Frank Disclosure

Laporan evaluasi lisan maupun tertulis harus dibuat terbuka, langsung, dan jujur dalam mengungkapkan penemuan, termasuk keterbatasan-keterbatasan evaluasi.

3.4. Public’s Right to Know

Pihak pemakai formal evaluasi harus menghormati hak masyarakat untuk mengetahui dalam batas-batas tertentu, seperti keselamatan dan hak pribadi.

3.5. Right of Human Subject

Evaluasi harus didesain dan dilakukan sehingga hak dan pribadi manusia terlindung.

3.6. Human Interaction

Evaluator harus menghormati harkat manusia dan saling menghargai dalam pergaulan juga dalam hal-hal yang berhubungan dengan evaluasi.

3.7. Balanced Reporting

Evaluasi harus lengkap dan fair, tidak hanya menampilkan kelebihan-kelebihannya, tetapi juga keterbatasan-keterbatasan yang ada pada program, sehingga keterbatasan tersebut akan dapat diatasi atau dikurangi.

3.8. Fiscal Responsibility

Biaya yang dipakai oleh evaluator dalam menjalankan tugasnya harus ada pertanggungjawabannya secara etik dan hukum.

4. Accuracy Standards

Standar akurasi ini bertujuan untuk meyakinkan bahwa evaluasi akan menyajikan informasi yang secara tehnik adekuat tentang objek yang dievaluasi dan tentang kegunaan atau manfaatnya. Standar tersebut adalah :

4.1. Objek Identification

Objek evaluasi (program, proyek, materi) harus dipelajari sungguh-sungguh, sehingga komponen-komponen di dalam proyek dapat diidentifikasikan dengan jelas.

4.2. Contect Analysis

Konteks di mana program, proyek, atau materi berada harus dipelajari sampai rinci, sehingga pengaruhnya dalam evaluasi dapat diidentifikasi.

4.3.Discribed Purposes and Procedure

Tujuan dan prosedur evaluasi harus terus dimonitor dan diterangkan sampai rinci, sehingga dapat diidentifikasi dan dinilai.

4.4. Defensible Information Sources

Sumber-sumber informasi harus diterangkan sampai rinci, sehingga adekuasi informasi dapat dinilai.

4.5. Valid Measurement

Instrumen dan prosedur pengumpulan data harus dipilih dan dipakai sedemikian rupa sehingga penafsiran valid, dan tepat.

4.6. Reliable Measurement

Instrumen dan pengumpulan data harus dipilih dan dikembangkan sehingga realibilitasnya terjamin.

4.7.Systematic Data Control

Pengumpulan data, proses, dan laporan dalam evaluasi harus direviu, dan dikoreksi sehingga hasil evaluasi tidak akan dicela.

4.8. Analysis of Quantitative Information

Informasi evaluasi kuantitatif harus dianalisis secara sistematis untuk meyakinkan penafsiran yang didukungnya.

4.9. Analysis of Qualitative Information

Informasi evaluasi kualitatif harus dianalisis secara sistematis untuk meyakinkan penafsiran yang didukungnya.

4.10. Justified Conclutions

Kesimpulan dibuat harus secara eksplisit, sehingga audiensi dapat menilainya.

4.11. Objective Reporting

Prosedur evaluasi harus dibuat seaman mungkin sehingga penemuannya dapat terlindung dari pencemaran dan kerusakan dari perasaan pribadi dan bias dari pihak manapun.

C. Petunjuk Umum dan Langkah-langkah Melakukan Evaluasi Meta

Evaluator disarankan untuk meminta evaluator internal dan evaluator eksternal mereviu evaluasi pada saat-saat tertentu yaitu pada saat rencana evaluasi, pada interval-interval dalam periode-periode tertentu saat evaluasi masih dalam proses untuk mengidentifikasi masalah-masalah, dan pada akhir evaluasi. Juga diminta untuk mereviu penemuan dan laporan serta memeriksa prosedur dan kesimpulan. Banyak evaluator meminta evaluator internal dan eksternal untuk mereviu evaluasinya.

Reviu internal dapat dilakukan oleh dewan penasehat evaluasi. Sedang apabila evaluasi dalam proses, evaluator dapat meminta pendapat para pemegang saham dan para karyawan program meminta reaksi mereka terhadap rencana evaluasi, implementasinya, waktunya, dan biaya setiap kegiatan evaluasi, serta revisi apabila ada. Kesemua ini merupakan laporan progres evaluasi yang amat berguna bagi klien.

Reviu eksternal paling baik dilakukan oleh pihak luar yang tak berminat akan hasil evaluasi yang telah mempunyai pengalaman dalam evaluasi yang serupa. Bila evaluator eksternal dipanggil sedini mungkin, mereka dapat diminta bantuan untuk melihat desain program dan meminta rekomendasinya untuk memperkuat desain. Pengamat eksternal dapat membantu urusan tehnik selama proses evaluasi dan pada akhir evaluasi, melihat prosedur, penemuan, dan laporan evaluasi. Pengamat eksternal mungkin dapat merencanakan kunjungan pada periode reviu untuk lebih dapat mengenal dan melihat dari dekat fail, instrumen, data, laporan, dan audiensi. Pekerjaan ini menuntut pengetahuan tentang mengapa dan di mana menilai informasi evaluasi yang penting. Evaluator harus dapat memperlihatkan bagaimana evaluasi mengikuti rekomendasi dari pengamat eksternal.

Langkah-langkah melakukan evaluasi meta, sebuah desain evaluasi yang dikemukakan oleh Worthen, Blain R, dan James R. Sanders (1983) sebagai berikut :

1. Siapkan satu salinan desain yang siap untuk direviu. Evaluasi meta formatif disarankan sesegera mungkin setelah desain selesai dirumuskan supaya reviu produktif.

2. Tentukan siapa yang akan melakukan evaluasi meta.

3. Pastikan bahwa ada hak untuk melakukan evaluasi meta.

4. Gunakan standar atau kriteria meta evaluasi untuk melakukan evaluasi meta.

5. Gunakan kriteria atau standar evaluasi pada desain Anda.

6. Periksa kecermatan desain evaluasi (adequacy). Tidak ada satu desainpun yang sempurna. Oleh sebab itu, perlu dilihat kembali apakah desain perlu disesuaikan dengan situasi dan kondisi program.

D. Masalah Evaluasi dan Cara Pemecahannya

Permasalahan evaluasi merupakan hal penting yang harus dijelaskan terlebih dahulu dalam pembuatan evaluasi. Hal ini wajar karena pada intinya suatu evaluasi dibuat adalah menjawab suatu permasalahan. Adanya kegiatan evaluasi dikarenakan adanya suatu masalah yang ingin dipecahkan atau ingin dijawab. Untuk itu pembaca suatu laporan evaluasi perlu mengetahui terlebih dahulu masalah yang dikaji, ditelaah, atau hendak dijawab/dipecahkan melalui evaluasi yang dilaporkan itu.

Segi-segi mengenai evaluasi bisa mencakup beberapa hal, seperti bagaimana rumusan masalahnya, latar belakang mengapa masalah tersebut dipilih untuk dievaluasi, apa tujuan yang ingin dicapai dengan mengevaluasi masalah tersebut, dan tinjauan teori/kepustakaan/ hasil-hasil evaluasi sebelumnya yang berkaitan dengan evaluasi tersebut.

Setiap evaluasi sedikit banyak mengandung bias dari keputusan yang diambil evaluator tentang apa yang akan diuji, instrumen yang dipakai, kepada siapa akan dibicarakan, dan siapa yang mendengar, semua mempengaruhi hasil evaluasi. Bahkan latar belakang pribadi evaluator, pendidikan, dan pengalaman juga mempengaruhi cara evaluasi dilaksanakan.

Berdasarkan pada kenyataan di atas maka tidak mudah menjadi seorang evaluator, karena banyak syarat yang harus dipenuhi oleh seorang evaluator agar evaluasi yang dihasilkan benar-benar dapat dipercaya dan dipertanggungjawabkan. Seringkali evaluasi yang dibuat oleh seorang evaluator mengandung sesuatu yang bias, hal ini dapat terjadi disebabkan oleh kurangnya kemampuan dari evaluator itu sendiri maupun adanya faktor dari luar yang punya kepentingan dari evaluasi tersebut.

Suatu evaluasi agar dapat menghasilkan evaluasi yang benar-benar baik dan dapat dipercaya maka evaluasi tersebut harus dievaluasi kembali, yang kemudian kita kenal dengan evaluasi meta.

Evaluasi meta sebagai evaluasi yang lebih tinggi dapat menghasilkan suatu evaluasi yang benar-benar baik dan dapat dipercaya, maka agar dapat menemukan dan memecahkan atau menjawab masalah evaluasi diperlukan prosedur-prosedur tertentu yang bersifat metodologis. Aspek metodologis ini, dalam laporan evaluasi, biasanya berisi penjelasan tentang tipe pendekatan evaluasi yang digunakan (survei atau sensus), tahap-tahap evaluasi meta program, tehnik-tehnik untuk mencapai standar evaluasi meta (utility, feasibility, propriety dan accuracy), populasi dan sampel evaluasi meta, metode pengumpulan data dan instrumentasi, serta strategi analisis data.

E. Kontribusi Evaluasi Meta terhadap Evaluasi Program

Evaluasi meta sebagai evaluasi yang lebih tinggi sangat besar sumbangannya bagi kemajuan evaluasi program. Evaluasi meta dapat dilakukan bersama kegiatan evaluasi yang biasa atau rutin untuk perbaikan sehingga evaluasi akan bertambah baik. Jika pada evaluasi biasa kita belum menghasilkan suatu evaluasi yang baik dan dapat dipercaya karena berbagai macam faktor, baik berasal dari evaluator itu sendiri maupun dari luar maka evaluasi meta merupakan solusi terbaik dalam memecahkan masalah tersebut. Evaluasi meta dapat juga dilakukan ketika sedang mengevaluasi atau sesudah evaluasi selesai, hal ini dilaksanakan agar kita memperoleh informasi tentang apa yang telah kita lakukan.

Evaluasi meta dapat dikembangkan selagi dalam proses dengan tujuan evaluasi berikutnya dapat lebih berhasil. Evalusi meta dapat digunakan untuk berbagai macam keperluan. Evaluasi meta dapat digunakan untuk berbagai macam keperluan. Evaluasi meta eksternal yaitu evaluasi yang dilakukan konsultan dari luar program, dapat dipakai untuk melihat kebenaran dan menilai desain evaluasi, melihat keprogresan program, serta untuk lebih meyakinkan dan lebih dapat dipercaya. Laporan evaluasi meta internal, misalnya apabila disertai dengan laporan evaluasi meta eksternal akan manjadi lebih dipercaya. Memakai evaluator eksternal juga dapat memberikan dasar yang kuat untuk merevisi desain evaluasi dan merevisi pekerjaan yang sedang dilakukan atau melaporkan evaluasi. Apabila evaluasi sudah selesai, evaluasi ini dapat menolong Anda menentukan sejauhmana kebenaran hasil evaluasi tersebut.

Evaluasi meta dapat dipakai untuk merevisi suatu evaluasi dan juga dapat menolong kita untuk terus dapat mengikuti kegiatan proses evaluasi (keep track). Usaha evaluasi meta juga dapat membuat kita terus terlibat dan bertanggung jawab, dan akan menambah kepercayaan atas evaluasi.

BAB III

PENUTUP

A. Kesimpulan

Evaluasi meta adalah mengevaluasi suatu evaluasi, yang dapat dilakukan bersama kegiatan evaluasi biasa atau rutin untuk perbaikan sehingga evaluasi akan bertambah baik. Evaluasi meta dapat dilakukan ketika sedang mengevaluasi atau sesudah evaluasi selesai, dilakukan untuk mengetahui apa yang telah dilakukan.

Orang-orang yang patut melakukan evaluasi meta yaitu :

a. Evaluasi meta dilakukan oleh evaluator sendiri (original evaluator).

b. Evluasi meta dilakukan oleh pemakai evaluasi.

c. Evaluasi meta dilakukan oleh evaluator ahli

Standar evaluasi meta digolongkan menjadi tiga puluh standar atas empat domain evaluasi yaitu utility (evaluasi harus berguna dan praktis), feasibility (evaluasi harus realistik dan bijaksana), propriety (evaluasi harus dilakukan dengan legal dan etik), dan accuracy (evaluasi harus secara tehnik adekuat).

Langkah-langkah melakukan evaluasi meta sebagai berikut :

1. Siapkan satu salinan desain yang siap untuk direviu. Evaluasi meta formatif disarankan sesegera mungkin setelah desain selesai dirumuskan supaya reviu produktif.

2. Tentukan siapa yang akan melakukan evaluasi meta.

3. Pastikan bahwa ada hak untuk melakukan untuk melakukan evaluasi meta.

4. Gunakan standar atau kriteria meta evaluasi untuk melakukan evaluasi meta.

5. Gunakan kriteria atau standar evaluasi pada desain Anda.

6. Periksa kecermatan desain evaluasi (adequacy). Tidak ada satu desainpun yang sempurna. Oleh sebab itu, perlu dilihat kembali apakah desain perlu disesuaikan dengan situasi dan kondisi program.