Eksperimen

Eksperimen memungkinkan Anda menjalankan tes A/B dalam permainan dan pencocokan untuk mengukur dampak kausal dari perubahan pada permainan Anda. Misalnya, Anda dapat menunjukkan pengalaman onboarding yang berbeda kepada pemain yang berbeda dan mengukur perbedaan dalam waktu bermain, retensi, dan indikator kinerja utama lainnya.

Eksperimen sangat baik untuk mengukur hal-hal berikut:

• Keterlibatan - Alur onboarding, sistem progresi, skema kontrol, pencocokan kustom
• Monetisasi - Visibilitas toko dan pengalaman pengguna, jenis paket pemula, penetapan harga

Buat eksperimen

Eksperimen hadir dalam dua jenis:

• Eksperimen Dalam permainan memungkinkan Anda mengukur dampak dari berbagai nilai konfigurasi.
• Eksperimen Pencocokan memungkinkan Anda mengukur dampak dari berbagai konfigurasi pencocokan kustom. Berbeda dengan eksperimen dalam permainan, Anda hanya dapat menjalankan satu eksperimen pencocokan pada satu waktu.

1. Jika Anda belum memiliki konfigurasi, buat satu untuk permainan Anda.

2. Di halaman Eksperimen Creator Hub untuk permainan Anda, klik Buat eksperimen.

3. Untuk Tipe, pilih Dalam pengalaman.

4. Tentukan nama untuk eksperimen.

5. Untuk Set metrik, pilih set metrik yang ingin Anda lacak dalam eksperimen:

   Set metrik	Apa yang dilacak
   Default	Kinerja standar dan metrik keterlibatan metrik seperti ARPU, waktu sesi, dan retensi pengguna baru.
   Pendapatan Video Berhadiah	Metrik untuk iklan video berhadiah: tingkat opt-in, frekuensi, tayangan, pendapatan iklan, dan total pendapatan per pengguna, ditambah metrik keterlibatan, retensi, dan monetisasi default.
   Kustom	Metrik default ditambah hingga tiga metrik kustom yang Anda definisikan dari kustom, ekonomi, dan funnel yang Anda catat.

   

6. Tentukan metrik tujuan dan durasi yang direncanakan untuk eksperimen. Eksperimen berjalan antara 14 hingga 60 hari.

   Terlepas dari apa yang Anda pilih sebagai metrik tujuan, eksperimen melacak semua metrik dalam set metrik. Jika Anda memilih set metrik Pendapatan Video Berhadiah, Roblox menetapkan metrik tujuan untuk Anda, jadi Anda hanya perlu menentukan durasi.

7. Pilih persentase rollout. Angka ini adalah persentase pemain yang ingin Anda sertakan dalam eksperimen.

   Secara umum, semakin banyak orang yang Anda sertakan dalam eksperimen, semakin baik datanya, tetapi gunakan penilaian Anda tentang apa yang terbaik untuk permainan Anda.

   Perhatikan efek terdeteksi minimum, yang merupakan perubahan terkecil dalam metrik yang dipilih yang dapat secara andal terdeteksi oleh eksperimen.

8. Tentukan varian dan persentase.

   Varian adalah nilai alternatif untuk konfigurasi Anda. Untuk kunci konfigurasi numerik bossHealth dengan nilai kontrol 500, Anda mungkin menentukan varian 300. Anda dapat memiliki hingga dua varian dan satu kontrol dalam eksperimen.

   Persentase menentukan bagaimana cara menetapkan varian dalam rollout eksperimen. Pertimbangkan contoh berikut:

   • Anda memilih rollout keseluruhan 40%.
   • Anda menentukan dua varian dan pembagian 50/50 di antara mereka dan kontrol.

   Dalam contoh ini, 60% pengguna Anda dikecualikan dari eksperimen; pengguna ini menerima kontrol dan tidak memiliki dampak pada hasil eksperimen. Sekitar 20% pengguna Anda menerima kontrol sebagai bagian dari eksperimen. 20% lainnya menerima varian. Tergantung pada jumlah pemain Anda, distribusi ini mungkin tidak cukup besar untuk menghasilkan hasil yang dapat ditindaklanjuti.

   Ketika ragu, kami merekomendasikan eksperimen sederhana 50/50 dengan satu varian dan satu kontrol pada rollout besar. Eksperimen lebih mudah untuk dikonfigurasi, dan hasilnya lebih mudah untuk diinterpretasikan.

   

9. (Opsional) Targetkan eksperimen ke audiens tertentu sehingga hanya pemain yang cocok yang memenuhi syarat untuk pendaftaran. Penargetan menggunakan atribut pemain yang sama seperti konfigurasi bersyarat, dan Anda dapat menyalin kondisi yang ada langsung dari konfigurasi Anda. Untuk informasi lebih lanjut, lihat Target eksperimen ke audiens tertentu.

   

10. Langkah terakhir adalah penjadwalan. Anda dapat memulai eksperimen segera atau menjadwalkannya untuk tanggal dan waktu yang lebih nanti. Setelah Anda menjadwalkan eksperimen, Anda tidak dapat mengubah konfigurasinya (durasi, persentase rollout, varian, dll.), tetapi Anda dapat menjadwalkannya ulang.

Metrik

Eksperimen melacak semua metrik berikut selama durasi eksperimen. Metrik ini diperbarui setiap 24 jam saat eksperimen berjalan. Namun, selama 24 jam pertama eksperimen Anda, Waktu Bermain, Tingkat Konversi Pembayar, dan ARPU juga diperbarui setiap 5 menit sehingga Anda dapat menangkap regresi kritis (kerugian awal) dengan cepat.

Status eksperimen

Halaman Eksperimen menunjukkan status berikut untuk eksperimen.

Metrik kustom

Secara default, eksperimen melacak metrik topline seperti waktu bermain, ARPU, dan retensi D1. Metrik ini memberi tahu Anda apakah suatu perubahan memiliki dampak keseluruhan, tetapi Anda mungkin juga ingin mengetahui rincian tentang apa yang berubah dalam permainan Anda, seperti apakah pemain lebih atau kurang mungkin menggunakan kemampuan, mengalahkan bos, atau menyelesaikan alur onboarding.

Metrik kustom memungkinkan Anda menambahkan metrik operasional Anda sendiri ke eksperimen dalam permainan, yang dibangun dari acara kustom, acara ekonomi, dan acara funnel yang sudah Anda catat dengan AnalyticsService. Gunakan mereka untuk:

• Jelaskan hasil datar. Retensi D1 tidak berubah, tetapi penyelesaian funnel onboarding turun 8%. Anda mungkin tidak ingin meluncurkan perubahan tersebut, atau Anda mungkin ingin menguji nilai yang berbeda.
• Justifikasi peluncuran meskipun demikian. ARPU datar, tetapi saldo koin dari pembayar mengering lebih cepat, yang seharusnya meningkatkan monetisasi seiring waktu.
• Uji hipotesis tentang loop inti Anda. Jika Anda percaya bahwa lebih banyak waktu yang dihabiskan untuk merekam video mengarah pada lebih banyak berbagi dan retensi yang lebih baik, Anda dapat mengukur keduanya dalam eksperimen yang sama.

Sebelum Anda mulai

• Catat acara Anda terlebih dahulu. Anda membangun metrik kustom dari acara yang dikirim permainan Anda, jadi Anda hanya dapat memilih dari nama acara, mata uang, dan funnel yang sudah memiliki data. Untuk mengaturnya, lihat acara kustom, acara ekonomi, dan acara funnel.
• Acara baru memerlukan waktu untuk diproses. Jika Anda baru saja menambahkan acara, mungkin memerlukan waktu hingga 24 jam untuk muncul di dasbor.

Tambahkan metrik kustom ke eksperimen

1. Di halaman Eksperimen Creator Hub untuk permainan Anda, klik Buat eksperimen dan isi tipe serta nama seperti biasa.

2. Untuk Set metrik, pilih Kustom.

3. Di bagian Metrik kustom, klik Tambahkan. Untuk menggunakan kembali metrik yang Anda buat untuk eksperimen sebelumnya, klik Tambahkan dari eksperimen sebelumnya sebagai gantinya.

   

4. Pilih Sumber: Kustom, Ekonomi, atau Funnel.

5. Pilih apa yang diukur metrik: jenis acara kustom, mata uang, atau funnel dan langkah penyelesaiannya.

6. Pilih Perhitungan. Untuk informasi lebih lanjut, lihat Pilih perhitungan.

7. (Opsional) Tambahkan Filter untuk mempersempit acara mana yang dihitung untuk metrik.

8. Verifikasi Nama metrik. Roblox menghasilkan nama dari pilihan Anda, tetapi Anda dapat mengeditnya menjadi sesuatu yang dikenali tim Anda, atau mengatur ulang kapan saja.

   

9. Klik Simpan. Anda dapat menambahkan hingga tiga metrik kustom.

10. Untuk Metrik tujuan, pilih metrik yang menentukan eksperimen. Metrik kustom Anda muncul dalam daftar ini bersama dengan waktu bermain dan rata-rata pendapatan per pengguna. Eksperimen tetap melacak metrik kustom yang tidak Anda tetapkan sebagai metrik tujuan sebagai metrik pembelajaran.

11. Selesaikan pengaturan eksperimen seperti biasa: durasi, persentase rollout, varian, penargetan, dan penjadwalan.

Pilih perhitungan

Setiap perhitungan hanya menghitung pemain yang terdaftar dalam eksperimen dan hanya acara yang dicatat selama eksperimen. Sebagian besar perhitungan menggunakan salah satu dari dua penyebut berbasis pemain:

• Per semua pengguna dibagi dengan semua orang yang terdaftar dalam grup eksperimen, termasuk pemain yang tidak pernah memicu acara. Gunakan penyebut ini ketika Anda ingin metrik mencerminkan seberapa sering perilaku terjadi dan berapa banyak pemain yang melakukannya.
• Per peserta dibagi hanya dengan pemain terdaftar yang mencatat acara setidaknya sekali. Gunakan penyebut ini ketika Anda ingin mengukur intensitas di antara pemain yang terlibat, terlepas dari berapa banyak pemain yang terlibat.

Pengecualian adalah konversi funnel per-instance, yang dibagi berdasarkan instance funnel daripada pemain.

Metrik acara kustom

Pilih jenis acara kustom, lalu salah satu perhitungan berikut:

Sebagai contoh, misalkan Anda sedang menguji loop pengumpulan herbal baru. Tambahkan Rata-rata nilai kustom untuk semua pengguna pada acara HerbsGathered untuk melihat apakah varian meningkatkan pengumpulan di seluruh grup, dan Persentase partisipasi pada acara yang sama untuk melihat apakah itu menarik pemain yang sebaliknya akan mengabaikannya.

Metrik ekonomi

Pilih mata uang, lalu salah satu perhitungan berikut:

Untuk mengukur pengeluaran pada bagian tertentu dari ekonomi Anda, filter berdasarkan jenis transaksi atau SKU item tertentu.

Sebagai contoh, misalkan Anda sedang menguji pass musim baru yang memberikan koin sebagai hadiah progres. Anda telah menyetelnya sehingga mencapai hadiah eksklusif terakhir tepat waktu memerlukan pemain untuk menghabiskan koin pada peningkatan gameplay. Pada mata uang koin Anda:

• Rata-rata delta pengeluaran mata uang memberi tahu Anda apakah pemain menghabiskan lebih banyak.
• Rata-rata delta sumber mata uang memberi tahu Anda apakah pemain mendapatkan lebih banyak.
• Rata-rata delta mata uang bersih memberi tahu Anda apakah pengeluaran tambahan cukup untuk menghentikan saldo dari inflasi.

Metrik funnel

Pilih funnel, lalu langkah penyelesaian, lalu salah satu perhitungan berikut:

Perhatikan hal-hal berikut untuk metrik funnel:

• Anda harus memilih langkah penyelesaian. Anda tidak dapat mengubah langkah ini setelah eksperimen dimulai, jadi pilih langkah yang penting untuk metrik Anda.
• Funnel satu kali mengembalikan hasil yang sama untuk kedua perhitungan. Untuk funnel satu kali, termasuk funnel onboarding, konversi per pengguna dan per-instance adalah sama karena setiap pemain hanya memiliki satu instance. Perhitungan hanya berbeda untuk funnel berulang yang menggunakan funnelSessionId.
• Funnel berulang menjawab pertanyaan yang berbeda. Konversi per pengguna menjawab "berapa banyak pemain menyelesaikan ini setidaknya sekali," sementara konversi per-instance menjawab "seberapa sering upaya berhasil." Metrik ini dapat bergerak ke arah yang berlawanan.
• Langkah yang dilewati dihitung sebagai selesai. Jika seorang pemain mencatat langkah 3 tanpa mencatat langkah 1 dan 2, funnel menganggap langkah 1 dan 2 sebagai selesai. Langkah yang diulang hanya dihitung sekali. Untuk informasi lebih lanjut, lihat Langkah yang dilewati dan Langkah yang diulang.

Sebagai contoh, misalkan Anda telah merombak tutorial Anda. Tambahkan Persentase konversi funnel per pengguna pada funnel onboarding dengan langkah terakhir sebagai langkah penyelesaian, dan jadikan itu metrik tujuan Anda. Kemudian periksa retensi D1 untuk melihat apakah penyelesaian yang lebih baik benar-benar mengarah pada pemain yang kembali.

Contoh metrik kustom

Membaca hasil metrik kustom

Metrik eksperimen bersifat kumulatif, tetapi dasbor analitik bersifat harian. Metrik eksperimen menjumlahkan seluruh jendela eksperimen dan, di mana penyebutnya adalah pemain, menghitung setiap pemain sekali. Halaman analitik default ke tampilan harian, jadi acara yang sama menghasilkan angka yang berbeda di dua tempat. Gunakan analitik untuk menjelajahi acara Anda dan memvalidasi bahwa mereka terpicu dengan benar, dan gunakan hasil eksperimen untuk membandingkan varian dengan kontrol.

Saat Anda menginterpretasikan metrik kustom, perhatikan hal-hal berikut:

• Metrik kustom yang bergerak tanpa metrik topline adalah informasi, bukan kebisingan. Ini biasanya berarti bahwa perubahan tersebut berhasil secara mekanis tetapi belum memiliki dampak yang signifikan secara statistik pada retensi atau pendapatan, atau tidak akan pernah.
• Arah tidak selalu berita baik. Penurunan tingkat kemenangan mungkin persis apa yang Anda inginkan jika Anda menambahkan lebih banyak tantangan untuk pemain yang sudah berpengalaman. Sebelum eksperimen dimulai, tentukan arah mana yang dihitung sebagai kemenangan.
• Signifikansi statistik masih berlaku. Metrik kustom tunduk pada batasan ukuran sampel yang sama seperti metrik lainnya. Jika perubahan tidak signifikan secara statistik, jangan bertindak berdasarkan hal itu.
• Jangan terlalu menekankan satu metrik. Jika metrik tujuan Anda naik tetapi metrik pembelajaran turun secara signifikan, Anda memiliki trade-off yang harus dipertimbangkan, bukan kemenangan yang jelas.

Metrik video berhadiah

Iklan video berhadiah dapat membantu Anda mendapatkan lebih banyak dari permainan Anda, termasuk dari pemain yang tidak menghabiskan Robux. Namun, Anda perlu menyesuaikan penempatan iklan video berhadiah agar sesuai dengan permainan dan ekonominya. Di mana Anda menempatkan iklan dan item mana yang Anda berikan kepada pemain keduanya mempengaruhi pendapatan iklan dan keterlibatan.

Set metrik Pendapatan Video Berhadiah melacak kinerja iklan bersama dengan pilihan metrik keterlibatan, retensi, dan monetisasi default, sehingga Anda dapat memastikan bahwa menjalankan iklan tidak merugikan bagian lain dari permainan Anda. Gunakan untuk:

• Sesuaikan iklan berhadiah. Uji hadiah yang lebih besar atau penempatan yang berbeda, dan periksa apakah tingkat opt-in dan frekuensi meningkat.
• Periksa trade-off. Jika pendapatan iklan meningkat, periksa apakah waktu bermain, retensi, atau konversi pembayar menurun. Total pendapatan per pengguna menunjukkan efek gabungan dari iklan dan mikrotransaksi.
• Jangkau pemain yang tidak membayar. Uji apakah opsi iklan membawa pendapatan dari pemain yang belum melakukan pembelian, tanpa menurunkan apa yang dibelanjakan oleh pembayar Anda.

Siapkan eksperimen pendapatan video berhadiah

Eksperimen video berhadiah adalah eksperimen dalam permainan, jadi mereka bekerja seperti eksperimen dalam permainan lainnya. Anda mengontrol fitur iklan, seperti ukuran hadiah atau frekuensi iklan, dengan konfigurasi. Setiap varian memiliki nilai konfigurasi yang berbeda, dan kode Anda membaca nilai tersebut dengan ConfigService:GetConfigForPlayerAsync(). Untuk informasi lebih lanjut, lihat Tambahkan eksperimen ke kode Anda.

1. Jika Anda belum memiliki konfigurasi untuk iklan video berhadiah yang ingin Anda uji, buat satu. Misalnya, buat kunci konfigurasi numerik adCooldownSeconds dengan waktu cooldown Anda saat ini sebagai nilai kontrol.

2. Di halaman Eksperimen Creator Hub untuk permainan Anda, klik Buat eksperimen.

3. Untuk Tipe, pilih Dalam pengalaman.

4. Untuk Set metrik, pilih Pendapatan Video Berhadiah. Roblox menetapkan tayangan per pengguna dan total pendapatan per pengguna sebagai metrik tujuan, jadi Anda tidak perlu memilih satu.

   

5. Selesaikan pengaturan eksperimen seperti biasa: durasi, persentase rollout, varian, penargetan, dan penjadwalan.

Metrik pendapatan video berhadiah

Set metrik Pendapatan Video Berhadiah melacak metrik iklan berikut, ditambah pilihan metrik default metrik sehingga Anda dapat memeriksa bahwa iklan tidak merugikan keterlibatan, retensi, atau monetisasi.

Target eksperimen ke audiens tertentu

Secara default, eksperimen dalam permainan dapat mendaftar pemain mana pun dalam persentase rollout Anda. Penargetan memungkinkan Anda menjalankan eksperimen pada audiens tertentu, seperti pemain di negara tertentu, jendela masa tertentu, atau tingkat pengeluaran aktif. Penargetan menggunakan atribut yang sama seperti penargetan konfigurasi.

Siapkan eksperimen yang ditargetkan

Anda mengonfigurasi kriteria penargetan saat Anda membuat eksperimen. Setelah eksperimen dimulai, Anda tidak dapat mengubah aturan penargetan, nilai kontrol, varian, atau aturan bersyarat apa pun yang digunakan kunci konfigurasi.

Anda dapat menggunakan kembali aturan bersyarat yang ada dari konfigurasi Anda untuk mendefinisikan penargetan Anda, tetapi eksperimen menyimpan salinan independen dari setiap aturan. Mengedit atau menghapus kondisi konfigurasi asli nanti tidak berpengaruh pada penargetan eksperimen.

Karena mempersempit audiens Anda mengurangi ukuran sampel Anda, Roblox memperbarui efek terdeteksi minimum (MDE) menggunakan perkiraan audiens yang cocok dengan kriteria penargetan Anda. Pastikan audiens yang Anda targetkan cukup besar untuk menghasilkan hasil yang bermakna secara statistik.

Cara Roblox menyelesaikan nilai yang ditargetkan

Roblox mengevaluasi eksperimen terlebih dahulu, sebelum aturan apa pun dari konfigurasi bersyarat standar. Ketika kunci konfigurasi memiliki eksperimen aktif, Roblox menyelesaikan nilai dalam urutan ini:

1. Nilai eksperimen aktif, jika pemain ditargetkan dan terdaftar.
2. Kondisi konfigurasi yang cocok pertama.
3. Kondisi konfigurasi yang cocok berikutnya.
4. Nilai default.

Pemain dalam grup kontrol menerima nilai yang dihasilkan oleh aturan konfigurasi yang ada. Anda tidak dapat menjalankan lebih dari satu eksperimen aktif pada kunci konfigurasi yang sama pada satu waktu.

Evaluasi per sesi

Roblox mengevaluasi atribut penargetan per sesi, sehingga kelayakan pemain individu dapat berubah seiring waktu:

• Jika seorang pemain cocok dengan kriteria penargetan Anda selama sesi, mereka dapat terdaftar dan menerima varian eksperimen.
• Jika mereka tidak lagi cocok di sesi berikutnya, mereka berhenti menerima nilai eksperimen dan segera kembali ke aturan konfigurasi standar Anda. Jika eksperimen Anda memerlukan kontinuitas di luar kelayakan—misalnya, alur onboarding multi-sesi yang ditargetkan pada pemain baru—pertahankan nilai tersebut sendiri, seperti dalam data store.

Data pemain tetap teratribusi pada varian (atau kontrol) yang mereka daftarkan, bahkan jika mereka kemudian berhenti memenuhi kriteria. Sebagai contoh, retensi D7 masih menghitung pemain yang terdaftar pada hari 0 dan apakah mereka kembali pada hari 7, bahkan jika mereka tidak lagi memenuhi syarat pada hari 4.

Perubahan konfigurasi saat eksperimen berjalan

Untuk mencegah penyimpangan konfigurasi dan data eksperimen yang rusak, Roblox mengunci kunci konfigurasi pada saat eksperimen mulai berjalan:

• Anda tidak dapat mengedit atau menghapus kunci konfigurasi yang sedang berjalan, juga tidak dapat memodifikasi nilai bersyarat standarnya.
• Kondisi global apa pun yang dirujuk oleh konfigurasi aktif juga dikunci. Anda tidak dapat mengedit, menghapus, atau mengurutkan ulang mereka relatif satu sama lain.

Kunci akan dibuka saat eksperimen selesai.

Tambahkan eksperimen ke kode Anda

Menerapkan eksperimen dalam permainan mirip dengan menerapkan konfigurasi. Perbedaan utamanya adalah penggunaan ConfigService:GetConfigForPlayerAsync() daripada ConfigService:GetConfigAsync().

GetConfigForPlayerAsync() mengambil snapshot spesifik pemain. Ketika Anda memanggil GetValue(), snapshot memeriksa apakah ada eksperimen aktif dan mendaftar (atau tidak mendaftar) pengguna berdasarkan persentase rollout.

local ConfigService = game:GetService("ConfigService")
local Players = game:GetService("Players")

local function onPlayerAdded(player)
    local playerConfig = ConfigService:GetConfigForPlayerAsync(player)
    local leaderboardColor = playerConfig:GetValue("leaderboardColor")
end

Players.PlayerAdded:Connect(onPlayerAdded)

• Anda harus memanggil GetConfigForPlayerAsync() secara terpisah untuk setiap pemain; GetConfigAsync() tidak menerapkan eksperimen.

• Setelah Anda memanggil GetValue() pada snapshot spesifik pemain, pemain yang terkait dengan snapshot terdaftar dalam eksperimen untuk kunci tersebut dan hanya kunci tersebut. Semua panggilan berikutnya ke metode tersebut mengembalikan kontrol atau varian yang sama selama eksperimen. Hanya panggilan pertama yang acak.

  Tunggu untuk memanggil GetValue() sampai Anda membutuhkannya. Memanggil GetValue() terlalu awal dapat menyebabkan Anda mendaftar pemain yang tidak pernah berinteraksi dengan bagian permainan yang Anda eksperimenkan.

• Pendaftaran dalam eksperimen tidak terbatas pada pengguna baru. Bahkan jika pengguna sebelumnya menerima nilai dari GetConfigAsync(), Anda masih dapat mendaftar mereka dalam eksperimen menggunakan snapshot spesifik pemain dari GetConfigForPlayerAsync().

• Jika kunci dalam snapshot spesifik pemain tidak memiliki eksperimen aktif, GetValue() mengembalikan nilai konfigurasi standar (atau nil jika tidak memiliki nilai).

Pendaftaran kustom

Jika Anda ingin mendaftar hanya pemain yang memenuhi kriteria berdasarkan status dalam permainan, Anda harus menulis kode tambahan untuk memeriksa kriteria tersebut dan hanya kemudian memanggil GetValue() untuk mendaftar mereka dalam eksperimen. Pertimbangkan contoh berikut:

• Anda ingin menguji skema kontrol baru dalam permainan balap Anda.
• Skema tersebut ditujukan untuk pemain berpengalaman, jadi Anda ingin menargetkan pemain yang telah memenangkan sejumlah besar balapan.

Kode Anda mungkin terlihat seperti ini:

local function getControlScheme(player, racesWon)
    if racesWon < 20 then
        return "standardScheme"
    else
        -- Pemain memiliki banyak kemenangan, daftarkan dalam eksperimen
        local playerConfigSnapshot = ConfigService:GetConfigForPlayerAsync(player)
        if playerConfigSnapshot:GetValue("useNewControlScheme") then
            return "newScheme"
        else
            return "standardScheme"
        end
    end
end

Jika Anda ingin skema kontrol tersebut bertahan di sesi berikutnya, Anda mungkin perlu menambahkan nilai ke entri pemain di data store.

Lihat dan interpretasikan hasil

Klik Lihat untuk melihat detail dan hasil. Di tab Detail dan Progres, Anda dapat melihat total jumlah pemain yang terdaftar, serta jumlah pemain yang menerima nilai kontrol dan setiap varian. Melihat halaman ini lebih awal dalam eksperimen berguna hanya untuk memastikan eksperimen berjalan dengan baik, bukan untuk mengambil tindakan. Sebelum mengambil tindakan, lihat Praktik terbaik.

Metrik kerugian awal

Selama 24 jam pertama, atau hingga hasil harian pertama tiba, metrik kerugian awal metrik diperbarui setiap 5 menit sehingga Anda dapat menangkap kerugian kritis yang tidak diinginkan lebih awal. Klik Metrik untuk melihat hasil ini. Cari metrik yang merugikan secara kritis yang disorot dengan warna merah.

Arahkan mouse ke metrik dan klik Lihat kepercayaan untuk melihat interval kepercayaan.

Selama jendela ini, hasil hanya menguji kerugian, jadi interval kepercayaan tidak memiliki batas bawah, hanya batas atas. Metrik ditandai sebagai merugikan secara kritis hanya jika seluruh interval kepercayaan berada di bawah ambang kerugian kritis. Dalam contoh berikut, Waktu Bermain berada di -12,67% dengan batas atas -2,73%. Meskipun estimasi lebih rendah dari ambang kerugian kritis -10% dan seluruh interval kepercayaan berada di bawah 0%, metrik tersebut tidak diklasifikasikan sebagai merugikan secara kritis karena interval tersebut tidak sepenuhnya di bawah ambang kerugian.

Gunakan hasil ini hanya untuk membimbing keputusan penghentian awal dalam 24 jam pertama. Jangan gunakan untuk keputusan peluncuran, bergantung pada hasil harian sebagai gantinya.

Ambang kerugian awal

Setiap metrik memiliki ambang kerugian awalnya sendiri. Jika peningkatan varian jatuh di bawah ambang ini, itu akan diklasifikasikan sebagai merugikan secara kritis untuk metrik tersebut. Namun, untuk perbandingan varian metrik dengan kurang dari 10.000 pemain terdaftar di varian dan kontrol, peningkatan varian ditampilkan tetapi keputusan tentang kerugian tidak akan dibuat sampai ukuran sampel memberikan cukup data untuk secara andal mendeteksi kerugian.

Pemberitahuan kerugian awal

Jika kerugian kritis terdeteksi dalam eksperimen Anda selama periode analisis kerugian awal, pemberitahuan dikirimkan kepada pemilik permainan dan pemilik eksperimen untuk tindakan awal. Pemberitahuan dikirim melalui email, baki pemberitahuan Creator Hub, dan melalui webhook opsional. Setelah menerima pemberitahuan kerugian awal, Anda harus meninjau metrik eksperimen dan memutuskan apakah eksperimen harus dihentikan lebih awal.

Hasil harian

Setelah eksperimen berjalan selama setidaknya 24 jam, klik Hasil untuk melihat hasil terbaru, yang diperbarui setiap 24 jam. Cari perubahan yang signifikan secara statistik dalam metrik tujuan, yang disorot oleh dasbor dengan warna hijau atau merah. Perubahan ini lebih mungkin menunjukkan dampak varian Anda dan kurang mungkin menjadi positif atau negatif palsu.

Metrik dianggap signifikan secara statistik ketika interval kepercayaan untuk persentase perubahannya tidak tumpang tindih dengan 0%. Dalam contoh berikut, ARPU naik 2,37%, dengan batas bawah dan atas 0,55% dan 4,19%, yang membuat perubahan tersebut signifikan secara statistik.

Untuk kenyamanan, halaman hasil memungkinkan Anda mengganti nilai konfigurasi default dengan salah satu varian dari eksperimen.

Ketidaksesuaian rasio sampel

Jika eksperimen Anda gagal mendaftarkan pengguna ke varian dalam proporsi yang diharapkan, banner peringatan untuk Ketidaksesuaian Rasio Sampel (SRM) akan muncul di tab hasil eksperimen. Jika SRM terdeteksi, disarankan untuk menghentikan dan memulai ulang eksperimen Anda.

SRM diperiksa setiap 5 menit selama 24 jam pertama eksperimen Anda, dan kemudian setiap hari setelahnya. SRM dapat membatalkan hasil eksperimen; jangan membuat keputusan peluncuran berdasarkan hasil yang terkompromi dan tidak dapat diandalkan.

Buat keputusan

Ketika eksperimen Anda selesai, klik Buat keputusan untuk memulai peluncuran terarah. Roblox menunjukkan peringatan tentang signifikansi statistik dan durasi eksperimen, kemudian meminta Anda untuk memilih varian pemenang atau mempertahankan kontrol. Berdasarkan pilihan Anda, Roblox meluncurkan perubahan yang sesuai ke konfigurasi permanen Anda; kembali ke halaman Konfigurasi menunjukkan nilai baru. Klik Ubah pemenang jika Anda berubah pikiran.

Keputusan Anda menentukan perubahan konfigurasi yang diusulkan oleh Roblox:

• Kontrol: Roblox tidak melakukan perubahan pada konfigurasi Anda yang ada.
• Varian tidak ditargetkan: Nilai varian menjadi nilai default baru dari konfigurasi. Roblox menghapus semua kondisi lain pada kunci konfigurasi itu, meskipun tetap ada dalam daftar kondisi global Anda.
• Varian yang ditargetkan: Roblox mengintegrasikan aturan pemenang kembali ke konfigurasi permanen Anda menggunakan opsi pertama yang berlaku dalam urutan prioritas ini:

  1. Timpakan: Jika kondisi identik sudah berada di bagian atas konfigurasi, Roblox menimpakan nilainya dengan nilai varian pemenang.
  2. Tambahkan yang ada: Jika kondisi global yang cocok ada dan secara alami akan berada di bagian atas, Roblox menambahkannya ke konfigurasi dengan nilai varian.
  3. Promosikan: Jika kondisi global yang cocok dapat dipromosikan dengan aman ke peringkat terendah yang diperlukan untuk menjadikannya aturan teratas dalam konfigurasi ini (tanpa mengubah konfigurasi lain), Roblox menambahkannya ke konfigurasi dan mengurutkannya kembali secara global.
  4. Buat baru: Jika tidak, Roblox membuat kondisi global baru yang diperingkat satu tingkat di atas kondisi tertinggi yang saat ini digunakan dalam konfigurasi. Jika ini menciptakan aturan duplikat di dalam konfigurasi, Roblox menghapus nilai bersyarat yang berlebihan sambil mempertahankan aturan global.

Praktik terbaik untuk eksperimen

• Gunakan efek terdeteksi minimum (MDE) untuk memutuskan apakah eksperimen Anda layak dijalankan.

  Roblox menghitung MDE menggunakan metrik tujuan Anda dan jumlah pemain per varian, yang didasarkan pada pengguna aktif harian, persentase rollout, durasi eksperimen, dan pembagian varian. Jika MDE terlalu tinggi untuk metrik tujuan Anda (misalnya, lebih dari 100%), tidak mungkin Anda dapat mencapai signifikansi statistik. Permainan dengan kurang dari 1.000 pengguna aktif harian mungkin kesulitan mendapatkan data yang berguna dari eksperimen.

  

• Mulailah dengan hipotesis. Alih-alih hanya mengubah variabel dan memeriksa hasilnya, tulis pernyataan sebab-akibat tentang apa yang Anda ubah, apa yang Anda harapkan terjadi, dan mengapa. Saat Anda bereksperimen lebih banyak, memiliki seperangkat hipotesis tertulis untuk menyertai hasil Anda dapat membantu memperjelas pemikiran Anda dan memicu ide-ide baru untuk eksperimen.

• Biarkan eksperimen berjalan selama durasi penuhnya. Efek kebaruan (minat sementara pada perubahan bukan karena itu lebih baik, tetapi karena itu baru) dapat sangat mempengaruhi hasil awal, kadang-kadang menyebabkan mereka berayun masuk dan keluar dari signifikansi statistik. Mengakhiri eksperimen lebih awal meningkatkan kemungkinan Anda mengambil tindakan prematur berdasarkan lonjakan anomali yang lebih banyak data akan halus atau bahkan bertentangan.

  • Pengecualian adalah kerugian awal dalam 24 jam pertama: jika metrik ditandai sebagai merugikan secara kritis atau Anda melihat ketidaksesuaian rasio sampel, tinjau dan pertimbangkan untuk menghentikan. Jangan gunakan hasil kerugian awal untuk keputusan peluncuran.

• Jangan bertindak tanpa signifikansi statistik. Bahkan perubahan yang tampaknya besar dalam perilaku pemain mungkin tidak signifikan secara statistik, umumnya karena ukuran sampel yang kecil. Jika perubahan tidak signifikan secara statistik, abaikan.

• Hindari perubahan selama eksperimen. Bug besar tentu perlu diperbaiki, tetapi perubahan pada konten permainan dapat mempengaruhi perilaku pemain dan membatalkan hasil Anda, bahkan jika perubahan tersebut terlihat tidak terkait dengan eksperimen Anda. Demikian pula, hanya jalankan eksperimen secara bersamaan jika Anda yakin mereka tidak akan saling berinteraksi.

• Gunakan interval kepercayaan untuk penyelaman mendalam ke dalam metrik dan untuk memeriksa kasus batas signifikansi statistik. Jika interval kepercayaan terlalu lebar, metrik mungkin tidak pernah mencapai signifikansi statistik.

• Jika satu metrik secara signifikan naik dan yang lain secara signifikan turun, Anda harus memutuskan apakah trade-off itu sepadan, mungkin bersamaan dengan pergerakan signifikan statistik lainnya.

• Eksperimen memberikan sinyal yang kuat, tetapi signifikansi statistik berurusan dengan probabilitas, bukan kepastian—oleh karena itu interval kepercayaan. Variabilitas data, ukuran sampel, dan besarnya perubahan semuanya mempengaruhi probabilitas mendeteksi apakah varian mempengaruhi perilaku pemain. Tindakan apa pun yang Anda ambil berdasarkan hasil eksperimen harus seimbang dengan data kualitatif seperti umpan balik pemain dan visi keseluruhan Anda untuk permainan.

• Dokumentasikan temuan dan keputusan Anda. Bahkan jika Anda tidak menggunakannya untuk menjalankan eksperimen tambahan, memiliki kumpulan pengetahuan dan bukti dapat memberi informasi tentang bagaimana Anda merancang permainan Anda.