Skor Sempurna: Cara Menghitung Perilaku Pengguna dan Membangun Persona UX yang Lebih Akurat

Ada begitu banyak nilai dalam data kualitatif, tetapi dapat dengan mudah disalahartikan ketika dianalisis oleh orang yang berbeda. Kita masing-masing memiliki perspektif dan bias kita sendiri ketika kita mencoba membongkar data dari wawancara, tes kegunaan, dan survei. Ini terutama benar ketika kami menganalisis data wawancara pengguna untuk tujuan membangun persona UX. Dalam posting blog ini, saya akan berbicara tentang proses penerapan panduan penilaian dan mengatasi beberapa masalah yang kami temui ketika mengukur data pengguna kualitatif.

Saya ingin mengklarifikasi bahwa posting ini akan fokus pada penggunaan metode penilaian untuk membantu menginterpretasikan data pengguna kualitatif untuk tujuan pengembangan kepribadian.

Pengalaman pertama saya di tim peneliti adalah di IDC Herzliya dan Weizmann Institute, melakukan penelitian perilaku untuk peserta Autisme. Saya bertugas mengumpulkan dan mencetak tugas motorik dan perilaku untuk setiap peserta. Kami mencatat pengukuran seperti lama kontak mata dan jumlah senyum dalam percakapan. Tetapi ada juga data subjektif yang berharga yang harus diukur: apa kualitas alur percakapan mereka atau keterlibatan afektif selama percakapan? Salah satu hal yang lebih menarik yang kami lakukan dalam penelitian kami adalah bagaimana kami bekerja untuk mengukur data kualitatif dan memastikan bahwa semua data subjektif kami diukur secara konsisten. Untuk melakukan ini, kami membuat panduan penilaian standar yang menguraikan definisi dari setiap pengukuran perilaku dan menstandarisasi cara untuk menganalisis data dari percakapan singkat untuk memberi pengguna skor perilaku.

Sementara saya berada di perusahaan baru dan di industri baru, saya menemukan diri saya dengan masalah yang sama. Ketika Sam, Peneliti Senior UX kami, mulai menyelam ke dalam data wawancara untuk pengembangan kepribadian, dia menciptakan dimensi untuk perilaku perjalanan yang berbeda, yang kami periksa untuk setiap pengguna. Dimensi-dimensi ini berkisar dari frekuensi perjalanan hingga kecakapan bepergian (lihat posting blognya "Bagaimana melakukan pemetaan kepribadian dengan 50+ pengguna" untuk mempelajari lebih lanjut). Setiap dimensi diberi skor pada skala dari 1 hingga 5 berdasarkan data pengguna kualitatif kami. Mari kita ambil frekuensi perjalanan misalnya. Skor 1 berarti bahwa pengguna melakukan perjalanan setiap bulan, sedangkan skor 5 berarti bahwa mereka bepergian sekali setahun. Jenis dimensi ini bersifat kuantitatif karena skor didasarkan pada jumlah kali tertentu pengguna bepergian.

Bagaimana dengan dimensi seperti kecerdasan perjalanan? Di sinilah skor menjadi rumit. Apa artinya jika pengguna mengetahui perjalanan? Apakah mereka sering bepergian atau memiliki banyak keanggotaan, atau keduanya? Ketika itu hanya salah satu Peneliti UX dalam penilaian tim, informasi semacam ini hanya ada di kepala mereka dan skor mereka lebih ditentukan oleh perasaan daripada oleh definisi. Ini tidak berarti bahwa penilaian berdasarkan perasaan tentu buruk. Ketika saya membuat skor keterlibatan yang efektif dalam percakapan, saya menemukan bahwa saya bisa merasakan kapan pengguna akan diberi skor 1 atau 5. Namun, tidak cukup hanya dengan 'firasat' karena tidak ada cara untuk memastikan bahwa Anda secara konsisten menilai setiap pengguna dengan cara yang sama persis, terutama jika lebih banyak Peneliti UX akan berkontribusi pada data pengguna. Tanpa konsistensi, skor 1-5 akan berarti sesuatu yang berbeda untuk setiap pengguna. Untuk menilai secara akurat (dan karenanya mengukur) dimensi-dimensi ini, kami membutuhkan cara untuk mengukur data kualitatif. Sebagai hasilnya, kami membuat panduan penilaian standar - sebuah dokumen yang mendefinisikan secara terperinci bagaimana menerjemahkan data perilaku menjadi data numerik yang dapat dihitung.

Apa itu Panduan Penilaian Standar?

Sederhananya, panduan penilaian standar seperti kamus. Ini mendokumentasikan bagaimana Anda memutuskan untuk menentukan rentang numerik dalam dimensi. Ini memberikan contoh dan kutipan untuk memberikan konteks definisi juga.

Berikut adalah dimensi kuantitatif sederhana yang menilai frekuensi perjalanan pengguna berdasarkan seberapa sering mereka bepergian per tahun. Rentang yang dibuat di sini didasarkan pada respons kami selama wawancara pengguna. Nilai sebenarnya dari panduan penilaian standar berlaku untuk dimensi yang lebih rumit seperti di bawah ini:

Dimensi seperti kecerdasan perjalanan dapat menjadi kabur tanpa pedoman khusus yang menguraikan bagaimana berbagai faktor berperan dalam skor pengguna. Dalam hal ini, kami memutuskan bahwa ada 4 faktor yang berbeda untuk dipertimbangkan ketika menghitung perjalanan.

1. Apakah pengguna mengumpulkan dan menggunakan poin keanggotaan?
2. Apakah mereka bepergian lebih dari 6 kali setahun?
3. Apakah mereka melakukan perjalanan internasional dan domestik?
4. Apakah mereka tahu jalannya di situs web perjalanan? Apakah mereka memiliki sistem yang mapan?

Sekarang kami memiliki beberapa faktor yang memengaruhi kenyamanan perjalanan, kami dapat menilai pengguna berdasarkan berapa banyak kriteria yang mereka temui. Seorang pengguna yang tidak memiliki atau menggunakan poin keanggotaan, tidak melakukan perjalanan ke luar AS, tetapi merasa nyaman memesan perjalanan dan sering bepergian ke California dianggap sebagai 3 untuk kecakapan bepergian dengan memenuhi 2 dari 4 kriteria. Bahkan dengan garis besar ini, masih ada ruang untuk kesalahan ketika menafsirkan faktor seperti "memiliki sistem pemesanan yang mapan." Untuk menjelaskan hal itu, kami menambahkan contoh peserta yang cocok 'sempurna' dengan skor yang ditentukan. Dengan cara ini, jika ada kebingungan, kita dapat kembali dan melihat bagaimana pengguna membandingkan dengan pengguna contoh.

Cara lain untuk mendefinisikan akan mempertimbangkan skor di setiap dimensi sebagai pernyataan "jika ... lalu ...". Mari pertimbangkan kebiasaan belanja ...

Jika, pengguna A suka berbelanja secara royal, lebih suka hotel bintang 4-5, dan terbang dengan ekonomi premium, maka pengguna A akan mendapat skor 2 untuk kebiasaan belanja.

Begitu…

Di sini, kami masih melihat beberapa faktor yang memengaruhi kebiasaan belanja, tetapi alih-alih mengatakan "pengguna ini perlu memeriksa 2 dari 4 faktor", kami melihat di mana mereka termasuk dalam faktor-faktor (seperti peringkat bintang hotel dan kelas perjalanan) untuk membantu kami menentukan cara menilai kebiasaan belanja.

Cara mulai membangun panduan penilaian standar Anda

1. Tentukan kisaran Anda berdasarkan wawancara pengguna Anda

Anda dapat membuat dimensi Anda dan menentukan setiap skor dalam dimensi Anda sebelum Anda bahkan memulai wawancara pengguna Anda, tetapi itu tidak akan banyak membantu Anda. Dimungkinkan untuk benar-benar mengubah rentang dengan tidak mengetahui bagaimana perilaku pengguna Anda. Katakanlah Anda menentukan rentang Anda terlebih dahulu dan kemudian mewawancarai pengguna Anda. Anda menemukan bahwa sebagian besar pengguna mendapat nilai 5, tetapi semua pengguna dalam skor 5 itu bisa memiliki perilaku yang agak berbeda. Rentang yang digunakan bukanlah pembagian perilaku yang efektif. Agar panduan menjadi efektif, setiap pengguna - terlepas dari perilaku mereka - harus mencocokkan skor, sehingga Anda tidak mencairkan data dengan pencocokan longgar. Karena itu, jauh lebih baik untuk mengevaluasi bagaimana tanggapan Anda berbeda-beda di antara pengguna dan membentuk definisi dari sana.

2. Tentukan berbagai kasus penggunaan dan terapkan dalam definisi Anda

Setelah Anda melakukan sebagian dari wawancara Anda, Anda akan memiliki ide yang lebih baik tentang seperti apa rentang Anda untuk dimensi yang berbeda. Mulailah dengan kerangka kerja yang menurut Anda paling masuk akal berdasarkan respons Anda. Ketika mendefinisikan dimensi “pentingnya ulasan”, itu dimulai dengan sangat sederhana:

Saat kami menelusuri semua respons pengguna, kami dapat lebih jelas menentukan setiap skor:

3. Temukan contoh terbaik! Mereka adalah patokan Anda!

Memiliki definisi tertulis tidak cukup untuk memastikan penilaian yang konsisten. Bahkan ketika membaca pedoman khusus, masih ada ruang untuk penafsiran. Hal yang paling membantu untuk dilakukan di sini adalah memilih contoh peserta (dan kutipan atau klip) yang mewakili skor dengan sempurna, atau sangat erat. Menambahkan kutipan kontekstual akan membantu menjaga konsistensi saat mencetak gol.

4. Ini akan berkembang!

Saat Anda mewawancarai lebih banyak pengguna, Anda akan menemukan beberapa kasus di mana pengguna tidak cocok dengan skor apa pun. Penting untuk diingat bahwa panduan penilaian adalah dokumen hidup dan bernafas yang akan berubah di sana-sini seiring waktu. Ini tidak berarti bahwa Anda mengubah definisi sepenuhnya, tetapi Anda dapat menambahkan catatan yang akan membahas kasus penggunaan yang lebih spesifik. Contoh yang baik dari ini adalah ketika Sam mewawancarai pengguna di Inggris dan menemukan bahwa cara kami mendefinisikan perjalanan internasional vs domestik di AS tidak akan berlaku dengan cara yang sama untuk pengguna Inggris. Alih-alih, kami harus menambahkan kasus penggunaan untuk pengguna tersebut:

Penting untuk diingat bahwa panduan penilaian standar bukanlah ilmu yang sempurna, dan masih ada ruang untuk bias. Namun, tim kami lebih percaya pada kualitas dan konsistensi analisis data. Sementara proses ini awalnya diterapkan dalam penelitian perilaku, itu juga dapat diterapkan pada set data kualitatif. Di UX, banyak dari kita berasal dari latar belakang akademis dan profesional yang berbeda, yang dapat kita gunakan untuk menerapkan berbagai perspektif dan metode untuk meningkatkan pendekatan kita terhadap proses UX. Dalam kasus kami, itu telah membantu kami lebih akurat mewakili spektrum perilaku nyata yang konsisten dalam kepribadian kami, yang kami gunakan untuk meningkatkan desain kami.