Judul Asli : How Can Automatic Feedback Help Students Construct Automata ?
Penulis : Loris D’antoni, Dileep Kini, Rajeev Alur, Sumit Gulwani, Mahesh Viswanathan, Bjorn Hartmann.
URL/doi : http://dx.doi.org/10.1145/2723163
Abstrak asli :
In computer-aided education, the goal of automatic feedback is to provide a meaningful explanation of students’ mistakes. We focus on providing feedback for constructing a deterministic finite automaton that accepts strings that match a described pattern. Natural choices for feedback are binary feedback (correct/wrong) and a counterexample of a string that is processed incorrectly. Such feedback is easy to compute but might not provide the student enough help. Our first contribution is a novel way to automatically compute alternative conceptual hints. Our second contribution is a rigorous evaluation of feedback with 377 students. We find that providing either counterexamples or hints is judged as helpful, increases student perseverance, and can improve problem completion time. However, both strategies have particular strengths and weaknesses. Since our feedback is completely automatic, it can be deployed at scale and integrated into existing massive open online courses.
Categories and Subject Descriptors: H.5.m. [Information Interfaces and Presentation (e.g., HCI)]:Miscellaneous
General Terms: Human Factors, Experimentation
Additional Key Words and Phrases: Autograding, feedback, automata, A/B study
Pengkaji : Bintang JP Putra
Ulasan/Kajian :
Penulis : Loris D’antoni, Dileep Kini, Rajeev Alur, Sumit Gulwani, Mahesh Viswanathan, Bjorn Hartmann.
URL/doi : http://dx.doi.org/10.1145/2723163
Abstrak asli :
In computer-aided education, the goal of automatic feedback is to provide a meaningful explanation of students’ mistakes. We focus on providing feedback for constructing a deterministic finite automaton that accepts strings that match a described pattern. Natural choices for feedback are binary feedback (correct/wrong) and a counterexample of a string that is processed incorrectly. Such feedback is easy to compute but might not provide the student enough help. Our first contribution is a novel way to automatically compute alternative conceptual hints. Our second contribution is a rigorous evaluation of feedback with 377 students. We find that providing either counterexamples or hints is judged as helpful, increases student perseverance, and can improve problem completion time. However, both strategies have particular strengths and weaknesses. Since our feedback is completely automatic, it can be deployed at scale and integrated into existing massive open online courses.
Categories and Subject Descriptors: H.5.m. [Information Interfaces and Presentation (e.g., HCI)]:Miscellaneous
General Terms: Human Factors, Experimentation
Additional Key Words and Phrases: Autograding, feedback, automata, A/B study
Pengkaji : Bintang JP Putra
Ulasan/Kajian :
Teknologi terutama komputer saat ini telah banyak digunakan untuk semua bidang, teutaman di bidang pendidikan, komputer banyak digunakan sebagai alat pembelajaran dan pembuatan automata oleh siswa. Automata adalah suatu sistem yang mempelajari tentang mesin abstrak yang menerima inputan dan mengeluarkan output dalam bentuk diskret. Namun jika siswa mengalami kesulitan atau melakukan kesalahan, maka diperlukan suatu alat untuk memberikan feedback (umpan balik) secara otomatis. Feedback otomatis ini berupa robot (both) secara online maupun offline yang bertujuan untuk memberikan penjelasan tentang kesalahan yang dilakukan para siswa.
Pada awalnya alat ini hanya difokuskan untuk memberikan feedback hanya terbatas pada menerima string hasil masukan yang sama dengan hasil yang telah ditetapkan. feedback tersebut berupa 2 jenis feedback yaitu feedback biner (berupa benar atau salah) dan feedback penunjuk error yang menunjukan letak kesalahan (error-specific). Namun setelah dikaji lagi, alat tersebut dirasa tidak cukup membantu siswa untuk menyelesaikan masalahnya.
Setelah diteliti lagi, akhirnya ditemukan suatu algoritma pemecahan suatu masalah. Algoritma tersebut dapat mendeteksi jenis kesalahan yang dilakukan para siswa dan memberikan feedback. Algoritma ini menjadi kontribusi pertama yang berhasil dilakukan D’antoni dkk. Mereka menemukan cara untuk memberikan feedback dan memberikan solusi pemecahan masalahnya. Selain menunjukan error juga menunjukan solusi jika terdapat kesalahan sintaks juga memberikan solusi permasalahan konseptual.
Diakhir kajian, mereka melakukan perbandingan antara ketiga jenis feedback tersebut yaitu feedback biner, feedback penunjuk error dan feedback berbasis petunjuk solusi. Ketiga jenis feedback ini dibandingkan dan diuji coba dengan 377 siswa kursus. Dan didapatkan hasil jika feedback penunjuk error dan feedback berbasis petunjuk solusi lebih efektif dalam menyelesaikan masalah. Akan tetapi, dari dua jenis feedback tersebut belum diketahui perbedaan yang signifikan antara kedua jenis feedback. Namun, jika ditinjau lagi dua jenis feedback ini memiliki manfaat yang berbeda. siswa memperoleh sedikit petunjuk dimana letak kesalahan yang dilakukannya dari feedback penunjuk error. Sedangkan untuk feedback petunjuk solusi, siswa memperoleh petunjuk jika terdapat kesalahan sintaks dan secara konseptual.
Berikut gambar dimana proses feedback penunjuk error dengan feedback petunjuk solusi :
Gambar 1 Proses feedback
Dari gambar diatas dapat dilihat jika pada attempt 1 terdapat kesalahan dibagian akhirnya no. 4 (feedback error-specific) langsung mendapat feedback otomatis berupa petunjuk solusi (feedback petunjuk solusi). Begitu juga pada attempt 2 pada bagian no. 5 harus terdapat perubahan, dan proses tersebut akan dicoba berulang kali sampai benar. Dan hasil dari perbandingan ketiga jenis feedback yang dilakukan oleh D’antoni dkk dapat dilihat dari diagram dibawah ini. Secara keseluruhan memang dapat disimpulkan jika feedback penunjuk error dibawah dinamakan counter example dan feedback petunjuk solusi dibawah dinamakan hint paling berguna untuk semua permasalahan dan membantu memahami kesalahan serta membenarkannya. Dan ternyata diketahui jika feedback biner adalah feedback yang paling membingungkan. Namun ketiga feedback sangat berguna jika digunakan sesuai kondisinya permasalahannya (dalam kajian ini permasalahan yang dimaksud adalah pembelajaran dan pembuatan automata).
Gambar 2 Grafik rating perbandingan antar ketiga jenis feedback
