Eksperimen

Eksperimen memungkinkan Anda menjalankan tes A/B dalam permainan dan pencocokan untuk mengukur dampak kausal dari perubahan pada permainan Anda. Misalnya, Anda dapat menunjukkan pengalaman onboarding yang berbeda kepada pemain yang berbeda dan mengukur perbedaan dalam waktu bermain, retensi, dan indikator kinerja utama lainnya.

Eksperimen sangat baik untuk mengukur hal-hal berikut:

• Keterlibatan - Alur onboarding, sistem progresi, skema kontrol, pencocokan kustom
• Monetisasi - Visibilitas toko dan pengalaman pengguna, jenis paket pemula, penetapan harga

Buat eksperimen

Eksperimen hadir dalam dua jenis:

• Eksperimen Dalam permainan memungkinkan Anda mengukur dampak dari berbagai nilai konfigurasi.
• Eksperimen Pencocokan memungkinkan Anda mengukur dampak dari berbagai konfigurasi pencocokan kustom. Berbeda dengan eksperimen dalam permainan, Anda hanya dapat menjalankan satu eksperimen pencocokan pada satu waktu.

1. Jika Anda belum memiliki konfigurasi, buat satu untuk permainan Anda.

2. Di halaman Eksperimen Creator Hub untuk permainan Anda, klik Buat eksperimen.

3. Untuk Tipe, pilih Dalam pengalaman.

4. Tentukan nama, metrik tujuan, dan durasi yang direncanakan untuk eksperimen. Eksperimen berlangsung antara 14-60 hari.

   Terlepas dari apa yang Anda pilih sebagai metrik tujuan, eksperimen melacak semua metrik dalam daftar.

5. Pilih persentase rollout. Angka ini adalah persentase pemain yang ingin Anda sertakan dalam eksperimen.

   Secara umum, semakin banyak orang yang Anda sertakan dalam eksperimen, semakin baik datanya, tetapi gunakan penilaian Anda tentang apa yang terbaik untuk permainan Anda.

   Perhatikan efek terdeteksi minimum, yang merupakan perubahan terkecil dalam metrik yang dipilih yang dapat secara andal terdeteksi oleh eksperimen.

6. Tentukan varian dan persentase.

   Varian adalah nilai alternatif untuk konfigurasi Anda. Untuk kunci konfigurasi numerik bossHealth dengan nilai kontrol 500, Anda mungkin menentukan varian 300. Anda dapat memiliki hingga dua varian dan satu kontrol dalam eksperimen.

   Persentase menentukan bagaimana cara menetapkan varian dalam rollout eksperimen. Pertimbangkan contoh berikut:

   • Anda memilih rollout keseluruhan sebesar 40%.
   • Anda menentukan dua varian dan pembagian 50/50 di antara mereka dan kontrol.

   Dalam contoh ini, 60% pengguna Anda dikecualikan dari eksperimen; pengguna ini menerima kontrol dan tidak memiliki dampak pada hasil eksperimen. Sekitar 20% pengguna Anda menerima kontrol sebagai bagian dari eksperimen. 20% lainnya menerima varian. Tergantung pada jumlah pemain Anda, distribusi ini mungkin tidak cukup besar untuk menghasilkan hasil yang dapat ditindaklanjuti.

   Ketika ragu, kami merekomendasikan eksperimen sederhana 50/50 dengan satu varian dan satu kontrol pada rollout besar. Eksperimen lebih mudah untuk dikonfigurasi, dan hasilnya lebih mudah untuk diinterpretasikan.

   

7. (Opsional) Targetkan eksperimen ke audiens tertentu sehingga hanya pemain yang cocok yang memenuhi syarat untuk pendaftaran. Penargetan menggunakan atribut pemain yang sama seperti konfigurasi bersyarat, dan Anda dapat menyalin kondisi yang ada langsung dari konfigurasi Anda. Untuk informasi lebih lanjut, lihat Targetkan eksperimen ke audiens tertentu.

   

8. Langkah terakhir adalah penjadwalan. Anda dapat memulai eksperimen segera atau menjadwalkannya untuk tanggal dan waktu yang lebih nanti. Setelah Anda menjadwalkan eksperimen, Anda tidak dapat mengubah konfigurasinya (durasi, persentase rollout, varian, dll.), tetapi Anda dapat menjadwalkannya ulang.

Metrik

Eksperimen melacak semua metrik berikut selama durasi eksperimen.

Status eksperimen

Halaman Eksperimen menunjukkan status berikut untuk eksperimen.

Targetkan eksperimen ke audiens tertentu

Secara default, eksperimen dalam permainan dapat mendaftar pemain mana pun dalam persentase rollout Anda. Penargetan memungkinkan Anda menjalankan eksperimen pada audiens tertentu, seperti pemain di negara tertentu, jendela masa kerja tertentu, atau tingkat pengeluaran aktif. Penargetan menggunakan atribut yang sama seperti penargetan konfigurasi.

Siapkan eksperimen yang ditargetkan

Anda mengonfigurasi kriteria penargetan saat Anda membuat eksperimen. Setelah eksperimen dimulai, Anda tidak dapat mengubah aturan penargetan, nilai kontrol, varian, atau aturan bersyarat apa pun yang digunakan oleh kunci konfigurasi.

Anda dapat menggunakan kembali aturan bersyarat yang ada dari konfigurasi Anda untuk mendefinisikan penargetan Anda, tetapi eksperimen menyimpan salinan independen dari setiap aturan. Mengedit atau menghapus kondisi konfigurasi asli nanti tidak berpengaruh pada penargetan eksperimen.

Karena mempersempit audiens Anda mengurangi ukuran sampel Anda, Roblox memperbarui efek terdeteksi minimum (MDE) menggunakan perkiraan audiens yang cocok dengan kriteria penargetan Anda. Pastikan audiens yang Anda targetkan cukup besar untuk menghasilkan hasil yang bermakna secara statistik.

Cara Roblox menyelesaikan nilai yang ditargetkan

Roblox mengevaluasi eksperimen pertama, sebelum aturan apa pun dari konfigurasi bersyarat standar. Ketika kunci konfigurasi memiliki eksperimen aktif, Roblox menyelesaikan nilai dalam urutan ini:

1. Nilai eksperimen aktif, jika pemain ditargetkan dan terdaftar.
2. Kondisi konfigurasi yang cocok pertama.
3. Kondisi konfigurasi yang cocok berikutnya.
4. Nilai default.

Pemain dalam grup kontrol menerima nilai yang dihasilkan oleh aturan konfigurasi Anda yang ada. Anda tidak dapat menjalankan lebih dari satu eksperimen aktif pada kunci konfigurasi yang sama pada satu waktu.

Evaluasi per sesi

Roblox mengevaluasi atribut penargetan per sesi, sehingga kelayakan pemain individu dapat berubah seiring waktu:

• Jika seorang pemain cocok dengan kriteria penargetan Anda selama sesi, mereka dapat terdaftar dan menerima varian eksperimen.
• Jika mereka tidak lagi cocok di sesi berikutnya, mereka berhenti menerima nilai eksperimen dan segera kembali ke aturan konfigurasi standar Anda. Jika eksperimen Anda memerlukan kontinuitas di luar kelayakan—misalnya, alur onboarding multi-sesi yang ditargetkan pada pemain baru—pertahankan nilai itu sendiri, seperti dalam data store.

Data pemain tetap teratribusi pada varian (atau kontrol) yang mereka daftarkan, bahkan jika mereka kemudian berhenti memenuhi kriteria. Misalnya, retensi D7 masih menghitung pemain yang terdaftar pada hari 0 dan apakah mereka kembali pada hari 7, bahkan jika mereka tidak lagi memenuhi syarat pada hari 4.

Perubahan konfigurasi saat eksperimen berjalan

Untuk mencegah penyimpangan konfigurasi dan data eksperimen yang rusak, Roblox mengunci kunci konfigurasi pada saat eksperimen mulai berjalan:

• Anda tidak dapat mengedit atau menghapus kunci konfigurasi yang sedang berjalan, juga tidak dapat memodifikasi nilai bersyarat standarnya.
• Setiap kondisi global yang dirujuk oleh konfigurasi aktif juga dikunci. Anda tidak dapat mengedit, menghapus, atau mengurutkan ulang mereka relatif satu sama lain.

Kunci akan dibuka saat eksperimen selesai.

Tambahkan eksperimen ke kode Anda

Menerapkan eksperimen dalam permainan mirip dengan menerapkan konfigurasi. Perbedaan utamanya adalah penggunaan ConfigService:GetConfigForPlayerAsync() daripada ConfigService:GetConfigAsync().

GetConfigForPlayerAsync() mengambil snapshot spesifik pemain. Ketika Anda memanggil GetValue(), snapshot memeriksa apakah ada eksperimen aktif dan mendaftar (atau tidak mendaftar) pengguna berdasarkan persentase rollout.

local ConfigService = game:GetService("ConfigService")
local Players = game:GetService("Players")

local function onPlayerAdded(player)
    local playerConfig = ConfigService:GetConfigForPlayerAsync(player)
    local leaderboardColor = playerConfig:GetValue("leaderboardColor")
end

Players.PlayerAdded:Connect(onPlayerAdded)

• Anda harus memanggil GetConfigForPlayerAsync() secara terpisah untuk setiap pemain; GetConfigAsync() tidak menerapkan eksperimen.

• Setelah Anda memanggil GetValue() pada snapshot spesifik pemain, pemain yang terkait dengan snapshot terdaftar dalam eksperimen untuk kunci itu dan hanya kunci itu. Semua panggilan berikutnya ke metode tersebut mengembalikan kontrol atau varian yang sama selama durasi eksperimen. Hanya panggilan pertama yang acak.

  Tunggu untuk memanggil GetValue() sampai Anda membutuhkannya. Memanggil GetValue() terlalu awal dapat menyebabkan Anda mendaftar pemain yang tidak pernah berinteraksi dengan bagian permainan yang Anda eksperimenkan.

• Pendaftaran dalam eksperimen tidak terbatas pada pengguna baru. Bahkan jika pengguna sebelumnya menerima nilai dari GetConfigAsync(), Anda masih dapat mendaftar mereka dalam eksperimen menggunakan snapshot spesifik pemain dari GetConfigForPlayerAsync().

• Jika kunci dalam snapshot spesifik pemain tidak memiliki eksperimen aktif, GetValue() mengembalikan nilai konfigurasi standar (atau nil jika tidak memiliki nilai).

Pendaftaran kustom

Jika Anda ingin mendaftar hanya pemain yang memenuhi kriteria berdasarkan status dalam permainan, Anda harus menulis kode tambahan untuk memeriksa kriteria tersebut dan hanya kemudian memanggil GetValue() untuk mendaftar mereka dalam eksperimen. Pertimbangkan contoh berikut:

• Anda ingin menguji skema kontrol baru dalam permainan balap Anda.
• Skema ini ditujukan untuk pemain tingkat lanjut, jadi Anda ingin menargetkan pemain yang telah memenangkan banyak balapan.

Kode Anda mungkin terlihat seperti ini:

local function getControlScheme(player, racesWon)
    if racesWon < 20 then
        return "standardScheme"
    else
        -- Pemain memiliki banyak kemenangan, mendaftar dalam eksperimen
        local playerConfigSnapshot = ConfigService:GetConfigForPlayerAsync(player)
        if playerConfigSnapshot:GetValue("useNewControlScheme") then
            return "newScheme"
        else
            return "standardScheme"
        end
    end
end

Jika Anda ingin skema kontrol bertahan di sesi berikutnya, Anda mungkin perlu menambahkan nilai ke entri pemain di data store.

Lihat dan interpretasikan hasil

Setelah eksperimen berjalan selama setidaknya 24 jam, klik Lihat untuk melihat detail dan hasil.

Anda dapat melihat jumlah total pemain yang terdaftar, serta jumlah pemain yang menerima nilai kontrol dan setiap varian. Melihat halaman ini lebih awal dalam eksperimen berguna hanya untuk memastikan eksperimen berjalan dengan baik, bukan untuk mengambil tindakan. Sebelum mengambil tindakan, lihat Praktik terbaik.

Setelah eksperimen selesai, periksa tab Hasil. Cari perubahan yang signifikan secara statistik dalam metrik tujuan, yang disorot dashboard dalam warna hijau atau merah. Perubahan ini lebih mungkin menunjukkan dampak varian Anda dan kurang mungkin menjadi positif atau negatif palsu.

Arahkan kursor ke metrik mana pun untuk melihat tombol Lihat kepercayaan, yang menunjukkan interval kepercayaan.

Sebuah metrik dianggap signifikan secara statistik ketika interval kepercayaannya untuk persentase perubahannya tidak tumpang tindih dengan 0%. Dalam contoh berikut, retensi D1 meningkat 17,4%, dengan batas bawah dan atas 8,02% dan 22,03%, yang membuat perubahan tersebut signifikan secara statistik.

Untuk kenyamanan, halaman hasil memungkinkan Anda mengganti nilai konfigurasi default dengan salah satu varian dari eksperimen.

Buat keputusan

Ketika eksperimen Anda selesai, klik Buat keputusan untuk memulai rollout terarah. Roblox menunjukkan peringatan tentang signifikansi statistik dan durasi eksperimen, kemudian meminta Anda untuk memilih varian pemenang atau mempertahankan kontrol. Berdasarkan pilihan Anda, Roblox meluncurkan perubahan yang sesuai ke konfigurasi permanen Anda; kembali ke halaman Konfigurasi menunjukkan nilai baru. Klik Ubah pemenang jika Anda berubah pikiran.

Jika Anda memiliki perubahan bertahap yang belum terselesaikan pada konfigurasi saat Anda menyelesaikan eksperimen, Roblox sementara menyimpannya dan mengembalikannya berdasarkan upaya terbaik setelah rollout.

Keputusan Anda menentukan perubahan konfigurasi yang diusulkan oleh Roblox:

• Kontrol: Roblox tidak melakukan perubahan pada konfigurasi Anda yang ada.

• Varian tidak ditargetkan: Nilai varian menjadi nilai default baru dari konfigurasi. Roblox menghapus semua kondisi lain pada kunci konfigurasi itu, meskipun tetap ada dalam daftar kondisi global Anda.

• Varian yang ditargetkan: Roblox mengintegrasikan aturan pemenang kembali ke konfigurasi permanen Anda menggunakan opsi pertama yang berlaku dalam urutan prioritas ini:

  1. Tulis ulang: Jika kondisi identik sudah berada di atas konfigurasi, Roblox menimpa nilainya dengan nilai varian pemenang.
  2. Tambahkan yang ada: Jika kondisi global yang cocok ada dan secara alami akan berada di atas, Roblox menambahkannya ke konfigurasi dengan nilai varian.
  3. Promosikan: Jika kondisi global yang cocok dapat dipromosikan dengan aman ke peringkat terendah yang diperlukan untuk menjadikannya aturan teratas dalam konfigurasi ini (tanpa mengubah konfigurasi lain), Roblox menambahkannya ke konfigurasi dan mengurutkannya secara global.
  4. Buat baru: Jika tidak, Roblox membuat kondisi global baru yang diperingkat satu level di atas kondisi tertinggi yang saat ini digunakan dalam konfigurasi. Jika ini menciptakan aturan duplikat di dalam konfigurasi, Roblox menghapus nilai bersyarat yang berlebihan sambil mempertahankan aturan global.

Praktik terbaik untuk eksperimen

• Gunakan efek terdeteksi minimum (MDE) untuk memutuskan apakah eksperimen Anda layak dijalankan.

  Roblox menghitung MDE menggunakan metrik tujuan Anda dan jumlah pemain per varian, yang didasarkan pada pengguna aktif harian, persentase rollout, durasi eksperimen, dan pembagian varian. Jika MDE terlalu tinggi untuk metrik tujuan Anda (misalnya, lebih dari 100%), tidak mungkin Anda dapat mencapai signifikansi statistik. Permainan dengan kurang dari 1.000 pengguna aktif harian mungkin kesulitan mendapatkan data yang berguna dari eksperimen.

  

• Mulailah dengan hipotesis. Alih-alih hanya mengubah variabel dan memeriksa hasilnya, tulis pernyataan sebab-akibat tentang apa yang Anda ubah, apa yang Anda harapkan terjadi, dan mengapa. Saat Anda semakin banyak bereksperimen, memiliki seperangkat hipotesis tertulis untuk menyertai hasil Anda dapat membantu memperjelas pemikiran Anda dan memicu ide-ide baru untuk eksperimen.

• Biarkan eksperimen berjalan selama durasi penuhnya. Efek kebaruan (minat sementara pada perubahan bukan karena itu lebih baik, tetapi karena itu baru) dapat sangat mempengaruhi hasil awal, terkadang menyebabkan mereka berayun masuk dan keluar dari signifikansi statistik. Mengakhiri eksperimen lebih awal meningkatkan kemungkinan Anda mengambil tindakan prematur berdasarkan lonjakan anomali yang lebih banyak data akan haluskan atau bahkan bertentangan.

• Jangan bertindak tanpa signifikansi statistik. Bahkan perubahan yang tampaknya besar dalam perilaku pemain mungkin tidak signifikan secara statistik, umumnya karena ukuran sampel yang kecil. Jika perubahan tidak signifikan secara statistik, abaikan.

• Hindari perubahan selama eksperimen. Bug besar tentu perlu diperbaiki, tetapi perubahan pada konten permainan dapat mempengaruhi perilaku pemain dan membatalkan hasil Anda, bahkan jika perubahan tersebut terlihat tidak terkait dengan eksperimen Anda. Demikian pula, hanya jalankan eksperimen secara bersamaan jika Anda yakin mereka tidak akan saling berinteraksi.

• Gunakan interval kepercayaan untuk analisis mendalam ke dalam metrik dan untuk memeriksa kasus batas signifikansi statistik. Jika interval kepercayaan terlalu lebar, metrik mungkin tidak pernah mencapai signifikansi statistik.

• Jika satu metrik meningkat secara signifikan dan yang lain menurun secara signifikan, Anda harus memutuskan apakah trade-off itu sepadan, mungkin bersamaan dengan pergerakan signifikan statistik lainnya.

• Eksperimen memberikan sinyal yang kuat, tetapi signifikansi statistik berurusan dengan probabilitas, bukan kepastian—oleh karena itu interval kepercayaan. Variabilitas data, ukuran sampel, dan besarnya perubahan semuanya mempengaruhi probabilitas mendeteksi apakah varian mempengaruhi perilaku pemain. Setiap tindakan yang Anda ambil berdasarkan hasil eksperimen harus seimbang dengan data kualitatif seperti umpan balik pemain dan visi keseluruhan Anda untuk permainan.

• Dokumentasikan temuan dan keputusan Anda. Bahkan jika Anda tidak menggunakannya untuk menjalankan eksperimen tambahan, memiliki kumpulan pengetahuan dan bukti dapat memberi informasi tentang bagaimana Anda merancang permainan Anda.