Membujuk Algoritma dengan dorongan AI

Pengecekan Fakta Dapat Mengurangi Penyebaran Berita yang Tidak Dapat Diandalkan. Itu Juga Dapat Melakukan Yang Berlawanan.

(pos ini awalnya muncul di civilservant.io)

Para pembaca berita dunia tentang reddit sering melaporkan berita tabloid kepada moderator sukarela, meminta mereka untuk melarang tabloid untuk artikel mereka yang sensasional. Cerita-cerita indah ini menarik perhatian orang, menarik kontroversi, dan diperhatikan oleh algoritma peringkat reddit, yang menyebarkannya lebih jauh.

Larangan berita tabloid dapat mengakhiri loop umpan balik ini, tetapi moderator komunitas menentang larangan total. Untuk memecahkan teka-teki ini, moderator perlu menjawab pertanyaan di jantung debat tentang apa yang disebut "berita palsu": bagaimana kita bisa menjaga kebebasan kontributor sementara juga memengaruhi perilaku timbal balik manusia dan algoritme untuk kebaikan komunitas?

Musim dingin ini, para moderator bekerja dengan CivilServant untuk menguji sebuah ide: apa efek dari mendorong pengecekan fakta pada respons terhadap berita yang tidak dapat diandalkan? Kami ingin melihat bagaimana tanggapan komunitas berita dunia. Kami juga mengamati efeknya pada peringkat reddit. Jika algoritme reddit mengartikan pemeriksaan fakta sebagai popularitas, artikel yang tidak dapat diandalkan mungkin menyebar lebih jauh.

Berita tabloid sekitar 2,3% dari semua pengiriman ke 15 juta komunitas pelanggan yang membahas berita di luar AS. Dalam r / worldnews, 70 moderator meninjau sekitar 450 artikel per hari dan mengizinkan 68% dari artikel tersebut untuk tetap. Karena ini adalah subreddit default, sebagian besar pembaca reddit mendapatkan berita dunia melalui komunitas ini. Sementara jangkauan komunitas dikerdilkan oleh Facebook, r / worldnews mungkin merupakan kelompok tunggal terbesar untuk membahas berita dunia di mana saja di internet berbahasa Inggris. Bahkan efek kecil dalam komunitas ini dapat membuat perbedaan besar dalam cara jutaan orang memahami informasi yang berpotensi tidak dapat diandalkan tentang dunia.

Dalam penelitian kami dari 27 November hingga 20 Januari, kami A / B menguji pesan yang mendorong masyarakat untuk melakukan pengecekan fakta dan memberikan suara pada berita tabloid. Inilah yang kami temukan:

Pengaruh Mendorong Pemeriksaan Fakta terhadap Perilaku Masyarakat

Dalam diskusi pengajuan tabloid tentang berita dunia, mendorong pengecekan fakta meningkatkan tingkat kejadian komentar dengan tautan rata-rata 2x, dan mendorong pemilihan fakta + voting memiliki efek yang sama.

Efek Mendorong Pemeriksaan Fakta pada Algoritma Reddit

Mengamati lebih dari 24 jam, kami juga menemukan bahwa rata-rata, komentar lengket mendorong pengecekan fakta menyebabkan pengurangan 2x pada skor reddit dari pengiriman tabloid, efek yang signifikan secara statistik yang kemungkinan mempengaruhi peringkat di subreddit. Ketika kami juga mendorong pembaca untuk memilih, efek ini menghilang.

AI Nudges: Membujuk Algoritma Sambil Memelihara Kebebasan

Pertanyaan kami tentang berita tabloid menambahkan dimensi algoritmik ke pertanyaan tata kelola klasik: bagaimana orang-orang yang berkuasa dapat bekerja demi kebaikan bersama sambil meminimalkan hambatan pada kebebasan individu?

kita dapat membujuk algoritma untuk berperilaku berbeda dengan membujuk orang untuk berperilaku berbeda.

Di internet, orang belajar hidup dengan sistem AI yang tidak dapat mereka kendalikan. Sebagai contoh, driver Uber mengubah penggerak mereka untuk mengoptimalkan pendapatan mereka. Perilaku kolektif kita sudah mempengaruhi sistem AI setiap saat, tetapi sejauh ini, masyarakat tidak memiliki informasi tentang apa sebenarnya pengaruh itu. Hasil buram ini bisa menjadi masalah ketika algoritma melakukan peran kunci dalam masyarakat, seperti kesehatan, keselamatan, dan keadilan. Untuk mengatasi masalah ini, beberapa peneliti sedang merancang sistem "masyarakat-dalam-loop" [4]. Yang lain sedang mengembangkan metode untuk mengaudit algoritma [5] [6]. Namun pendekatan tidak menawarkan cara untuk mengelola perilaku sehari-hari dari sistem yang kodenya tidak dapat kita kendalikan. Studi kami dengan r / worldnews menawarkan arah ketiga; kita dapat membujuk algoritma untuk berperilaku berbeda dengan membujuk orang untuk berperilaku berbeda.

Beberapa orang mungkin bertanya-tanya apakah eksperimen ini merupakan manipulasi suara, yang bertentangan dengan kebijakan reddit. Catatan tempel kami tidak melanggar aturan reddit apa pun untuk keuntungan pribadi (kami juga tidak membuat akun palsu, memberi tahu orang-orang cara memilih, atau mengatur blok suara). Tapi kami memang menunjukkan bahwa mendorong orang untuk memeriksa fakta memiliki efek sistematis pada algoritma reddit.

Gagasan "dorongan AI" memberi kita cara untuk berpikir tentang upaya pro-sosial untuk mempengaruhi perilaku manusia dan mesin sambil menjaga kebebasan individu. Richard Thaler dan Cass Sunstein pertama kali mengusulkan "dorongan" sebagai cara bagi institusi untuk menggunakan kekuatan mereka sambil menjaga kebebasan individu [7]. Dibandingkan dengan melarang berita tabloid, dorongan AI untuk mendorong pengecekan fakta adalah tindakan paling ringan yang dapat diambil oleh moderator. Tidak ada kemampuan seseorang untuk berbagi berita, komentar, atau suara diambil, tetapi dorongan AI masih meredam penyebaran berita yang tidak dapat diandalkan.

Seperti yang ditunjukkan Sunstein dan Thaler, tidak selalu jelas apakah intervensi sentuhan ringan ini akan memiliki hasil yang diinginkan. Itulah mengapa kita harus menguji efeknya secara sistematis, terutama karena sistem yang belum diuji dapat memiliki hasil yang tidak terduga.

Tata Kelola dan Etika Sikut AI

Dorongan dari pemerintah dan eksperimen sosial oleh platform online sering menarik kritik serupa. Saya pikir orang-orang benar untuk mengharapkan pertanggungjawaban dari mereka yang menggunakan kekuatan dorongan. Dengan bekerja dengan moderator sukarelawan, saya dapat bekerja dengan tingkat transparansi dan akuntabilitas yang lebih besar daripada tipikal dalam komputasi sosial. Semua studi CivilServant dirancang dengan dan oleh tim moderasi, dan semua hasil diungkapkan pertama kali kepada masyarakat dalam tanya jawab subreddit. Desain penelitian kami didaftar secara publik di Kerangka Kerja Open Science sebelum kita mulai, dan semua kode kita adalah open source. Detail analisis lengkap juga bersifat publik, sehingga siapa pun dapat memeriksa kesimpulan kami. Satu-satunya yang kami tahan adalah data aktual, karena kami menghormati privasi semua orang yang terlibat.

Secara keseluruhan, saya berharap bahwa AI mendorong, terutama ketika dipimpin oleh komunitas sendiri, menawarkan arah yang menarik bagi masyarakat untuk mengelola peran algoritma dalam masyarakat, sambil juga menjaga kebebasan individu.

Bagaimana Studi Ini Bekerja

Untuk pengujian ini, moderator memulai dengan daftar sumber berita yang sering menerima keluhan. Dari 27 November hingga 20 Januari, kami secara acak menetapkan setiap tautan tabloid baru ke salah satu dari tiga syarat berikut: (a) tidak ada komentar lengket, (b) komentar lengket mendorong skeptisisme, (c) komentar lengket mendorong skeptisisme + pemungutan suara (perincian lengkap di sini ).

Kami memposting pesan ini ke bagian atas diskusi berita tabloid

Yang kedua mendorong orang-orang untuk memeriksa fakta artikel dan mempertimbangkan untuk tidak memilih tautan jika mereka tidak dapat menemukan bukti pendukung untuk klaimnya:

Pesan kedua ini mendorong orang untuk mempertimbangkan downvoting

Dapatkah Perilaku Memeriksa Fakta Mempengaruhi Bagaimana Algoritma reddit Lihat Berita Tidak Dapat Diandalkan?

Sementara kami yakin bahwa pembaca r / worldnews akan membantu jika moderator bertanya, kami juga bertanya-tanya: jika kita meningkatkan komentar pada berita tabloid, bisakah kita secara tidak sengaja menyebabkan algoritma reddit untuk mempromosikan tautan-tautan tabloid itu?

Jika pengecekan fakta meningkatkan popularitas sumber berita yang tidak bisa diandalkan, komunitas mungkin perlu memikirkan kembali ke mana harus berusaha. Itulah sebabnya moderator menguji komentar tempel kedua, yang mendorong pembaca untuk mempertimbangkan downvoting.

Untuk menguji efek dari komentar tempel pada algoritma reddit, perangkat lunak CivilServant mengumpulkan data pada skor posting setiap empat menit. Platform tidak mempublikasikan dengan tepat apa yang masuk dalam skor atau bagaimana peringkatnya bekerja (saya bertanya). Namun, kami dapat memprediksi peringkat halaman HOT subreddit dari posting berdasarkan usia dan skornya (detail lengkap di sini). Pada dasarnya, jika pengecekan fakta memiliki pengaruh besar pada skor artikel, maka mungkin berpengaruh pada peringkat artikel dari waktu ke waktu di halaman depan subreddit. Saya menguji ini dengan dua cara: dengan membandingkan skor setelah 24 jam, dan dengan memodelkan perubahan skor dari waktu ke waktu.

Saya menggunakan model binomial negatif untuk menguji efek pada skor setelah 24 jam. Saat algoritme reddit berdiri selama percobaan kami, mendorong pengecekan fakta menyebabkan pengiriman tabloid menerima 49,1% (2,04x lebih rendah) skor pengiriman tanpa komentar lengket, setelah 24 jam, rata-rata di r / berita baru. Efeknya signifikan secara statistik. Dalam model ini, saya gagal menemukan efek dari komentar lengket yang mendorong pembaca untuk mempertimbangkan downvoting.

Saya juga menguji efek dari pengecekan fakta pada tingkat pertumbuhan skor sebuah pos dari waktu ke waktu. Untuk mengajukan pertanyaan ini, saya memasukkan model regresi linear intersepsi acak pada skor log-transformed untuk posting setiap empat menit. Saya menemukan bahwa mendorong pengecekan fakta menyebabkan tingkat pertumbuhan skor menjadi lebih rendah. Di sini, saya menemukan bahwa mendorong pemberian suara sebenarnya memiliki efek positif kecil pada tingkat pertumbuhan dalam skor dari waktu ke waktu, rata-rata. Karena kami menjalankan eksperimen selama perubahan dalam algoritme reddit pada awal Desember 2016, saya juga menemukan bahwa pengaruh komentar lengket ini pada algoritma reddit mungkin telah berubah setelah reddit menyesuaikan algoritme (detail).

Siapa Yang Membantu Memeriksa Fakta Artikel Berita?

Dari 930 komentar non-bot dengan tautan yang diizinkan untuk dipertahankan oleh moderator, 737 akun pengguna menyumbang tautan ke bukti lebih lanjut. Dari jumlah tersebut, 133 akun membuat lebih dari satu komentar dengan tautan. Banyak orang mengecek kiriman mereka sendiri, dengan pengirim mengirim 81 komentar untuk informasi lebih lanjut.

Apa Yang Tidak Kita Ketahui Dari Penelitian Ini?

Tes ini melihat hasil dalam diskusi daripada akun individu, jadi kita tidak bisa tahu apakah orang-orang individu yakin akan lebih skeptis, atau apakah komentar yang melekat menyebabkan orang yang sudah skeptis untuk menyelidiki dan berbagi. Saya juga tidak memiliki bukti tentang pengaruh pengecekan fakta pada pembaca, meskipun penelitian lain menunjukkan bahwa pengecekan fakta mempengaruhi keyakinan pembaca [2] [3].

Studi ini tidak dapat memberi tahu kami banyak tentang mengapa kami melihat perubahan besar dalam efek algoritmik ketika kami mengubah pesan dengan mendorong pembaca untuk mempertimbangkan downvoting. Perbedaan ini mungkin merupakan contoh dari apa yang oleh psikolog disebut "reaktansi," perlawanan terhadap saran dari otoritas. Atau jika pengirim berita khawatir bahwa tautan mereka akan dibatalkan, mereka mungkin meminta bantuan, yang menyeimbangkan perilaku pembaca.

Apakah ini akan bekerja dengan jenis tautan lain, di subreddits lain, atau di situs lain? Studi ini terbatas pada komunitas dan daftar situs tertentu. Meskipun saya curiga bahwa banyak komunitas besar pembaca online akan membantu memeriksa tautan fakta jika moderator bertanya, temuan kami tentang algoritme reddit jauh lebih sesuai.

Kami dapat menjawab pertanyaan ini jika lebih banyak subreddits memutuskan untuk mencoba eksperimen serupa. Jika Anda tertarik, hubungi saya di reddit untuk membahas menjalankan percobaan serupa dan mendaftar untuk pembaruan email.

Pelajari Lebih Lanjut Tentang Eksperimen Ini

PhD saya melibatkan komunitas pendukung untuk menguji efek dari praktik moderasi mereka sendiri. Saya merancang eksperimen ini bersama dengan moderator r / worldnews, dan disetujui oleh Komite MIT tentang Penggunaan Manusia sebagai Subjek Eksperimental. Jika Anda memiliki pertanyaan atau masalah, silakan hubungi natematias di redditmail.

Eksperimen ini, seperti semua penelitian saya tentang reddit sejauh ini, dilakukan secara independen dari platform reddit, yang tidak memiliki peran dalam perencanaan atau desain eksperimen. Percobaan belum ditinjau oleh rekan sejawat. Semua hasil dari CivilServant diposting secara publik kembali ke komunitas yang terlibat segera setelah hasilnya siap, dengan publikasi akademis akan datang kemudian.

Rincian lengkap percobaan ini diterbitkan sebelumnya dalam rencana pra-analisis di osf.io/hmq5m/. Jika Anda tertarik dengan statistik, saya telah menerbitkan rincian lengkap analisis ini.

Referensi

[1] Salganik, M. J., & Watts, D. J. (2008). Memimpin kelompok yang tersesat: Sebuah studi eksperimental tentang ramalan yang terpenuhi dengan sendirinya di pasar budaya buatan. Psikologi sosial triwulanan, 71 (4), 338–355.

[2] Stephan Lewandowsky, Ullrich K. H. Ecker, Colleen M. Seifert, Norbert Schwarz, dan John Cook. Informasi yang salah dan Koreksinya Pengaruh Terus Berlanjut dan Debiasing yang Berhasil. Ilmu Psikologi untuk Kepentingan Umum, 13 (3): 106–131, Desember 2012.

[3] Thomas Wood dan Ethan Porter. Efek Bumerang yang Elusif: Sikap Massa 'Kepatuhan Faktual yang Teguh. SSRN Scholarly Paper ID 2819073, Jejaring Penelitian Ilmu Sosial, Rochester, NY, Agustus 2016.

[4] Rahwan, Iyad (2016) Masyarakat-in-the-Loop: Memprogram Kontrak Sosial Algoritma. Medium

[5] Christian Sandvig, Kevin Hamilton, Karrie Karahalios, dan Cedric Langbort. 2014. Algoritma pengauditan: Metode penelitian untuk mendeteksi diskriminasi pada platform internet. Data dan Diskriminasi: Mengubah Masalah Kritis menjadi Pertanyaan Produktif, Pertemuan Tahunan Asosiasi Komunikasi Internasional, 2014

[6] Diakopoulos, N., & Koliska, M. (2016). Transparansi algoritma di media berita. Jurnalisme Digital, 1–20.

[7] Thaler, R. H., & Sunstein, C. R. (2003). Paternalisme libertarian. The American Economic Review, 93 (2), 175–179.