Perusahaan seperti Amazon dan Facebook memiliki sistem yang terus merespons cara pengguna berinteraksi dengan aplikasi mereka untuk membuat pengalaman pengguna lebih mudah. Bagaimana jika pendidik dapat menggunakan strategi “eksperimen adaptif” yang sama untuk meningkatkan materi pengajaran mereka secara teratur?

Itulah pertanyaan yang diajukan oleh sekelompok peneliti yang mengembangkan alat gratis yang mereka sebut Akselerator Eksperimen Adaptif. Sistem, yang memanfaatkan AI, baru-baru ini memenangkan tempat pertama dalam Tantangan Pembelajaran Digital XPrize tahunan, yang membanggakan pembagian $1 juta di antara para pemenang.

“Di Amazon dan Facebook, mereka dengan cepat menyesuaikan kondisi dan mengubah apa yang dilihat pemirsa mereka untuk mencoba dengan cepat lebih memahami perubahan kecil apa yang lebih efektif, dan kemudian memberikan lebih banyak perubahan tersebut kepada pemirsa,” kata Norman Bier, direktur dari Open Learning Initiative di Carnegie Mellon University yang mengerjakan proyek tersebut. “Ketika Anda memikirkannya dalam konteks pendidikan, itu… benar-benar membuka kesempatan untuk memberi lebih banyak siswa hal-hal yang mendukung pembelajaran mereka dengan lebih baik.”

Bier dan orang lain yang terlibat dalam proyek tersebut mengatakan bahwa mereka sedang menguji pendekatan tersebut dalam berbagai latar pendidikan, termasuk sekolah K-12 negeri dan swasta, perguruan tinggi komunitas dan perguruan tinggi empat tahun.

EdSurge duduk bersama Bier dan peneliti lain dalam proyek tersebut, Steven Moore, seorang kandidat doktoral di Institut Interaksi Manusia-Komputer Carnegie Mellon, untuk mendengar lebih banyak tentang tawaran mereka untuk memenangkan XPrize untuk pendidikan dan apa yang mereka lihat sebagai tantangan dan peluang untuk dimanfaatkan. AI di dalam kelas.

Diskusi berlangsung di konferensi ISTE Live baru-baru ini di Philadelphia di depan penonton langsung. (EdSurge adalah ruang redaksi independen yang berbagi organisasi induk dengan ISTE. Pelajari lebih lanjut tentang etika dan kebijakan EdSurge di sini dan pendukung di sini.)

Dengarkan episode di Apple Podcasts, Overcast, Spotify atau di mana pun Anda mendapatkan podcast, atau gunakan pemutar di halaman ini. Atau baca sebagian transkrip di bawah, diedit dengan ringan untuk kejelasan.

EdSurge: Aplikasi yang Anda kembangkan membantu guru menguji materi pembelajaran mereka untuk melihat apakah materi tersebut efektif. Apa yang baru dalam pendekatan Anda?

Norman Bier: Jika Anda berpikir tentang pengujian A/B standar [for testing webpages], mereka biasanya bekerja di luar rata-rata. Jika kita akan merata-ratakan semuanya, kita akan memiliki populasi siswa yang intervensi yang baik untuk semua orang tidak baik untuk mereka secara individu. Salah satu manfaat nyata dari eksperimen adaptif adalah kita dapat mulai mengidentifikasi, ‘Siapa subkelompok siswa ini?’, ‘Jenis intervensi spesifik apa yang lebih baik untuk mereka?’, dan kemudian kita dapat menyampaikannya dan dalam waktu nyata terus memberi mereka intervensi yang lebih baik untuk mereka. Jadi ada peluang nyata, menurut kami, untuk melayani siswa dengan lebih baik dan benar-benar menangani gagasan eksperimen dengan lebih adil.

Saya mengerti bahwa salah satu aspek dari hal ini adalah sesuatu yang disebut ‘sumber pembelajar’. Apa itu?

Steven Moore: Konsep sumber pembelajar mirip dengan crowdsourcing, di mana sejumlah besar orang bergabung. Bayangkan acara permainan ‘Who Wants to Be a Millionaire?’ ketika kontestan polling penonton. Mereka bertanya kepada penonton, ‘Hei, ada empat opsi di sini. Saya tidak tahu yang mana, apa yang harus saya pilih?’ Dan penonton berkata, ‘Oh, pilihlah pilihan A.’ Itulah contoh crowdsourcing dan kebijaksanaan orang banyak. Semua pemikir hebat ini berkumpul untuk mencoba mendapatkan solusi.

Jadi sumber pelajar adalah mengambil itu, di mana kami benar-benar mengambil semua data ini dari siswa dalam kursus — dalam kursus terbuka online besar-besaran ini — dan kami mengumpulkan data mereka dan membuat mereka benar-benar melakukan sesuatu untuk kami yang kemudian dapat kami lemparkan kembali ke kursus.

Salah satu contohnya adalah membuat siswa yang mengambil, katakanlah, kursus kimia online untuk membuat pertanyaan pilihan ganda untuk kita. Jadi, jika Anda memiliki kursus dengan 5.000 siswa di dalamnya, dan semua orang memilih untuk membuat pertanyaan pilihan ganda, kini Anda memiliki 5.000 pertanyaan pilihan ganda baru untuk kursus kimia tersebut.

Tapi Anda mungkin berpikir, bagaimana kualitasnya? Dan sejujurnya, itu bisa sangat bervariasi. Tetapi dengan seluruh gelombang ChatGPT ini dan semua model bahasa besar dan pemrosesan bahasa alami ini, kami sekarang dapat memproses 5.000 pertanyaan ini dan memperbaikinya dan mencari tahu mana yang terbaik yang dapat kami ambil dan gunakan dalam kursus kami alih-alih hanya melemparkan mereka secara membabi buta kembali ke jalurnya.

Bier: Kami meminta siswa untuk menulis pertanyaan ini bukan karena kami mencari tenaga kerja gratis, tetapi karena kami pikir ini akan sangat membantu mereka saat mereka mengembangkan pengetahuan mereka sendiri. Selain itu, jenis pertanyaan dan umpan balik yang mereka berikan membantu kami meningkatkan materi kursus dengan lebih baik. Kami merasakan dari banyak penelitian bahwa perspektif pemula sebenarnya sangat penting, terutama dalam kursus tingkat rendah ini. Dan sangat tersirat dalam pendekatan ini adalah gagasan bahwa kita mengambil keuntungan dari perspektif pemula yang dibawa oleh siswa, dan bahwa kita semua kehilangan saat kita mendapatkan keahlian.

Seberapa besar peran AI dalam pendekatan Anda?

Moore: Dalam pekerjaan XPrize kami, kami pasti memiliki beberapa algoritme yang mendukung backend yang mengambil semua data siswa dan pada dasarnya menjalankan analisis untuk mengatakan, ‘Hei, haruskah kami memberikan intervensi ini kepada siswa X?’ Jadi AI jelas merupakan bagian besar darinya.

“Kami telah mencoba untuk memikirkan tentang apa aplikasi yang lebih dalam dari ini dan apa cara agar kami dapat menggunakan aplikasi tersebut sambil tetap menjaga agar manusia tetap terhubung?”
—Norman Bier, direktur Open Learning Initiative di Carnegie Mellon University

Apa skenario bagaimana seorang guru di kelas akan menggunakan alat Anda?

Bier: The Open Learning Initiative memiliki kursus statistik. Ini adalah kursus adaptif — anggap saja sebagai buku teks interaktif berteknologi tinggi. Jadi kami memiliki ribuan mahasiswa di sebuah universitas di Georgia yang menggunakan kursus statistik ini alih-alih buku teks. Siswa membaca, menonton video, tetapi yang lebih penting mereka terjun, menjawab pertanyaan, dan mendapatkan umpan balik yang ditargetkan. Jadi ke dalam lingkungan ini, kami dapat memperkenalkan pertanyaan sumber pembelajar ini serta beberapa pendekatan untuk mencoba memotivasi pembelajar untuk menulis pertanyaan mereka sendiri.

Moore: Saya punya contoh bagus dari salah satu uji coba kami untuk proyek tersebut. Kami ingin melihat bagaimana kami dapat melibatkan siswa dalam kegiatan opsional. Kami memiliki semua aktivitas hebat ini dalam sistem OLI ini, dan kami ingin siswa mengerjakan soal statistik tambahan dan yang lainnya, tetapi tidak ada yang benar-benar menginginkannya. Jadi kami ingin mengatakan, ‘Hei, jika kami dapat memberikan pesan motivasi atau sesuatu seperti, Hei, teruskan, seperti lima soal lagi dan Anda tahu, Anda akan belajar lebih banyak, Anda akan lebih baik dalam ujian dan tes ini. .’ Bagaimana kita dapat menyesuaikan pesan-pesan motivasi ini untuk membuat siswa berpartisipasi dalam kegiatan opsional ini, apakah itu sumber pembelajar atau hanya menjawab beberapa pertanyaan pilihan ganda?

Dan untuk kompetisi XPRIZE ini dalam uji coba kami, kami memiliki beberapa ungkapan motivasi. Tapi salah satunya melibatkan meme karena kami pikir mungkin beberapa mahasiswa sarjana untuk mata kuliah khusus ini akan menyukainya. Jadi kami memasang gambar capybara — seperti hamster besar atau babi Guinea — duduk di depan komputer dengan headphone dan kacamata terpasang, tanpa teks. Kami seperti, ‘Mari kita lemparkan ini dan lihat apakah ini membuat siswa melakukannya.’ Dan untuk lima kondisi yang berbeda, gambar hanya capybara dengan headphone di depan komputer membuat lebih banyak siswa berpartisipasi dalam kegiatan berikutnya. Mungkin itu membuat mereka tertawa, entah alasan pastinya. Tapi dibandingkan dengan semua pesan motivasi ini, itu memiliki efek terbaik di kelas tertentu.

capybara mengenakan kacamata baca melihat komputer laptop pic.twitter.com/xCYVlDI17d

— reaksi (@reactjpg) 8 April 2021

Ada banyak kegembiraan dan kekhawatiran tentang ChatGPT dan alat AI generatif terbaru dalam pendidikan. Di mana Anda berdua dalam kontinum itu?

Moore: Saya pasti bermain di kedua sisi, di mana saya melihat ada banyak kemajuan keren yang terjadi, tetapi Anda pasti sangat ragu. Saya akan mengatakan Anda selalu membutuhkan mata manusia pada output apa pun dari AI generatif apa pun yang Anda gunakan. Jangan pernah begitu saja mempercayai apa yang diberikan kepada Anda – selalu perhatikan hal itu.

Saya juga ingin membuang bahwa pendeteksi plagiarisme untuk ChatGPT sangat buruk saat ini. Tolong jangan gunakan itu. Mereka tidak adil [because of false positives].

Bier: Gagasan tentang manusia dalam lingkaran ini benar-benar merupakan ciri dari pekerjaan yang kami lakukan di CMU, dan kami telah berpikir secara strategis tentang bagaimana kami mempertahankan manusia itu dalam lingkaran. Dan itu sedikit bertentangan dengan beberapa hype saat ini. Ada orang yang terburu-buru mengatakan, ‘Yang benar-benar kami butuhkan adalah membuat tutor sulap yang dapat memberikan akses langsung ke semua siswa kami yang dapat mengajukan pertanyaan.’ Ada banyak masalah dengan itu. Kita semua akrab dengan kecenderungan teknologi untuk berhalusinasi, yang diperparah oleh fakta bahwa banyak penelitian pembelajaran memberi tahu kita bahwa kita menyukai hal-hal yang mengkonfirmasi kesalahpahaman kita. Siswa kami paling tidak mungkin menantang bot ini jika bot ini memberi tahu mereka hal-hal yang sudah mereka yakini.

Jadi kami telah mencoba untuk berpikir tentang aplikasi apa yang lebih dalam dari ini dan cara apa yang dapat kami gunakan untuk aplikasi tersebut sambil menjaga agar manusia tetap terhubung? Dan ada banyak hal yang bisa kita lakukan. Ada aspek-aspek pengembangan konten untuk hal-hal seperti sistem adaptif yang dibenci oleh manusia, meskipun mereka sangat mahir. Sebagai seseorang yang membuat courseware, penulis fakultas saya tidak suka menulis pertanyaan dengan umpan balik yang baik. Itu bukan hal yang ingin mereka lakukan untuk menghabiskan waktu. Jadi menyediakan cara agar alat ini dapat mulai memberi mereka draf pertama yang masih ditinjau adalah sesuatu yang kami sukai.

Dengarkan percakapan lengkapnya di EdSurge Podcast minggu ini.