Deneyler

Deneyler, oyununuzdaki değişikliklerin neden olduğu etkileri ölçmek için oyun içi ve eşleştirme A/B testleri yapmanıza olanak tanır. Örneğin, farklı oyunculara farklı başlangıç deneyimleri gösterebilir ve oyun süresi, tutma oranı ve diğer anahtar performans göstergeleri arasındaki farkı ölçebilirsiniz.

Deneyler, aşağıdakileri ölçmek için mükemmeldir:

• Katılım - Başlangıç akışları, ilerleme sistemleri, kontrol şemaları, özel eşleştirme
• Para kazanma - Mağaza görünürlüğü ve kullanıcı deneyimi, başlangıç paketi türleri, fiyatlandırma

Deneyler oluşturma

Deneyler iki türde gelir:

• Oyun içi deneyler, farklı konfigürasyon değerlerinin etkisini ölçmenizi sağlar.
• Eşleştirme deneyleri, farklı özel eşleştirme yapılandırmalarının etkisini ölçmenizi sağlar. Oyun içi deneylerin aksine, yalnızca bir eşleştirme deneyini aynı anda çalıştırabilirsiniz.

1. Eğer zaten bir konfigürasyon yoksa, oyununuz için bir tane oluşturun.

2. Yaratıcı Merkez Deneyler sayfasında, oyununuz için Deney oluştur butonuna tıklayın.

3. Tür için, Deneyim içi seçeneğini seçin.

4. Deney için bir isim belirtin.

5. Metrik seti için, deneyin takip etmesini istediğiniz metrik setini seçin:

   Metrik seti	Neyi takip eder
   Varsayılan	ARPU, oturum süresi ve yeni kullanıcı tutma gibi standart performans ve katılım metrikleri.
   Ödüllü Video Kazançları	Ödüllü video reklamları için metrikler: katılım oranı, sıklık, gösterim, reklam kazançları ve kullanıcı başına toplam kazanç, artı varsayılan katılım, tutma ve para kazanma metrikleri.
   Özel	Varsayılan metrikler artı, özel metrikler olarak tanımladığınız üçe kadar özel, ekonomi ve funnel olayları.

   

6. Deney için bir hedef metrik ve planlanan süre belirtin. Deneyler 14 ile 60 gün arasında çalışır.

   Hedef metrik olarak neyi seçerseniz seçin, deneyler metrik setindeki tüm metrikleri takip eder. Ödüllü Video Kazançları metrik setini seçerseniz, Roblox sizin için hedef metrikleri ayarlar, bu nedenle yalnızca süreyi belirtmeniz gerekir.

7. Bir yüzdelik dağıtım seçin. Bu sayı, deneyin içine dahil etmek istediğiniz oyuncuların yüzdesidir.

   Genel olarak, bir deneyde daha fazla insan dahil ettikçe, veriler daha iyi olur, ancak oyununuz için en iyisinin ne olduğunu değerlendirin.

   Deneyin güvenilir bir şekilde tespit edebileceği seçilen metrikteki en küçük değişiklik olan minimum tespit edilebilir etkiye dikkat edin.

8. Varyantları ve yüzdeleri belirtin.

   Varyantlar, konfigürasyonunuz için alternatif değerlerdir. Kontrol değeri 500 olan bir sayısal konfigürasyon anahtarı bossHealth için, 300 değerinde bir varyant belirtebilirsiniz. Bir deneyde en fazla iki varyant ve bir kontrol olabilir.

   Yüzdeler, varyantların deney dağıtımı içinde nasıl atanacağını belirler. Aşağıdaki örneği düşünün:

   • Genel dağıtım olarak %40 seçtiniz.
   • İki varyant ve bunlar ile kontrol arasında %50/%50 bölünme belirttiniz.

   Bu örnekte, kullanıcılarınızın %60'ı deneyden hariç tutulur; bu kullanıcılar kontrolü alır ve deney sonuçlarını etkilemez. Kullanıcılarınızın yaklaşık %20'si deneyin bir parçası olarak kontrolü alır. Diğer %20'si varyantı alır. Oyuncu sayınıza bağlı olarak, bu dağıtım, uygulanabilir sonuçlar elde etmek için yeterince büyük olmayabilir.

   Şüphe durumunda, büyük dağıtımlarda bir varyant ve bir kontrol ile basit %50/%50 deneyleri öneriyoruz. Deneyler yapılandırması daha kolaydır ve sonuçları yorumlamak daha kolaydır.

   

9. (İsteğe bağlı) Deneyi belirli bir kitleye hedefleyin, böylece yalnızca eşleşen oyuncular kaydolmaya uygun olur. Hedefleme, koşullu konfigürasyonlar ile aynı oyuncu özelliklerini kullanır ve mevcut koşulları doğrudan konfigürasyonlarınızdan kopyalayabilirsiniz. Daha fazla bilgi için Deneyleri belirli kitlelere hedefleme bölümüne bakın.

   

10. Son adım zamanlamadır. Deneyleri hemen başlatabilir veya daha sonraki bir tarih ve saat için planlayabilirsiniz. Bir deneyi planladıktan sonra, yapılandırmasını (süre, dağıtım yüzdesi, varyantlar vb.) değiştiremezsiniz, ancak yeniden planlayabilirsiniz.

Metrikler

Deneyler, deney süresi boyunca aşağıdaki tüm metrikleri takip eder. Bu metrikler, deney devam ederken her 24 saatte bir güncellenir. Ancak, deneyinizin ilk 24 saatinde, Oyun Süresi, Ödeme Dönüşüm Oranı ve ARPU da her 5 dakikada bir güncellenir, böylece kritik gerilemeleri (erken zarar) hızlı bir şekilde yakalayabilirsiniz.

Deney durumu

Deneyler sayfası, deneyler için aşağıdaki durumları gösterir.

Özel metrikler

Varsayılan olarak, deneyler oyun süresi, ARPU ve D1 tutma gibi üst düzey metrikleri takip eder. Bu metrikler, bir değişikliğin genel bir etkisi olup olmadığını size söyler, ancak oyununuzda neyin değiştiğini bilmek isteyebilirsiniz; örneğin, oyuncuların bir yeteneği kullanma olasılığının artıp artmadığı, bir patronu yenip yenmediği veya başlangıç akışını tamamlayıp tamamlamadığı gibi.

Özel metrikler, oyun içi bir deneyde kendi operasyonel metriklerinizi eklemenize olanak tanır; bunlar, AnalyticsService ile zaten kaydettiğiniz özel olaylar, ekonomi olayları ve funnel olayları ile oluşturulur. Bunları kullanarak:

• Düz bir sonucu açıklayın. D1 tutma değişmedi, ancak başlangıç funnel tamamlama %8 düştü. Değişikliği yaymak istemeyebilirsiniz veya farklı bir değeri test etmek isteyebilirsiniz.
• Yine de bir yayılmayı haklı çıkarın. ARPU düz, ancak ödeyenlerin madeni para bakiyeleri daha hızlı azalıyor; bu, zamanla para kazanmayı artırmalıdır.
• Temel döngünüz hakkında bir hipotezi test edin. Daha fazla video kaydetmenin daha fazla paylaşım ve daha iyi tutma ile sonuçlanacağına inanıyorsanız, her ikisini de aynı deneyde ölçebilirsiniz.

Başlamadan önce

• Önce olaylarınızı kaydedin. Özel metrikleri, oyununuzun gönderdiği olaylardan oluşturursunuz, bu nedenle yalnızca zaten veriye sahip olan olay adları, para birimleri ve funnel'lar arasından seçim yapabilirsiniz. Bunları ayarlamak için özel olaylar, ekonomi olayları ve funnel olayları bölümüne bakın.
• Yeni olayların işlenmesi zaman alır. Eğer yeni bir olay eklediyseniz, bunun gösterge tablosunda görünmesi 24 saate kadar sürebilir.

Deneye özel metrikler ekleme

1. Yaratıcı Merkez Deneyler sayfasında, oyununuz için Deney oluştur butonuna tıklayın ve türü ve ismi her zamanki gibi doldurun.

2. Metrik seti için, Özel seçeneğini seçin.

3. Özel metrikler bölümünde, Ekle butonuna tıklayın. Önceki bir deney için oluşturduğunuz bir metriği yeniden kullanmak istiyorsanız, bunun yerine Geçmiş deneyden ekle butonuna tıklayın.

   

4. Bir Kaynak seçin: Özel, Ekonomi veya Funnel.

5. Metrik neyi ölçer: özel olay türü, para birimi veya funnel ve tamamlama adımını seçin.

6. Bir Hesaplama seçin. Daha fazla bilgi için Hesaplama seçin bölümüne bakın.

7. (İsteğe bağlı) Metrik için hangi olayların sayılacağını daraltmak için Filtreler ekleyin.

8. Metrik adını doğrulayın. Roblox, seçimlerinizden bir isim oluşturur, ancak bunu ekibinizin tanıyacağı bir şeyle düzenleyebilir veya istediğiniz zaman sıfırlayabilirsiniz.

   

9. Kaydet butonuna tıklayın. En fazla üç özel metrik ekleyebilirsiniz.

10. Hedef metrik için, deneyin kararını veren metriği seçin. Özel metrikleriniz, oyun süresi ve kullanıcı başına ortalama gelir ile birlikte bu listede görünür. Deney, hedef metrik olarak ayarlamadığınız herhangi bir özel metriği öğrenme metriği olarak takip etmeye devam eder.

11. Deneyi her zamanki gibi ayarlamaya devam edin: süre, dağıtım yüzdesi, varyantlar, hedefleme ve zamanlama.

Hesaplama seçin

Her hesaplama yalnızca deneyde yer alan oyuncuları ve yalnızca deney sırasında kaydedilen olayları sayar. Çoğu hesaplama, iki oyuncu tabanlı paydadan birini kullanır:

• Tüm kullanıcılar başına: Deney grubuna dahil olan herkesin sayısını, olayları hiç tetiklemeyen oyuncuları da dahil ederek böler. Bu paydayı, metriklerin davranışın ne sıklıkla gerçekleştiğini ve kaç oyuncunun bunu yaptığını yansıtmasını istediğinizde kullanın.
• Katılımcı başına: Sadece en az bir kez olayı kaydeden katılımcı oyuncularla böler. Bu paydayı, katılan oyuncular arasında yoğunluğu ölçmek istediğinizde kullanın; katılan oyuncu sayısından bağımsız olarak.

İstisna, örnek başına funnel dönüşümü olup, oyuncular yerine funnel örnekleri ile bölünür.

Özel olay metrikleri

Bir özel olay türü seçin, ardından aşağıdaki hesaplamalardan birini seçin:

Örneğin, yeni bir ot toplama döngüsünü test ettiğinizi varsayalım. HerbsGathered olayında Tüm kullanıcılar başına ortalama özel değer ekleyerek varyantın tüm grupta toplama artışına neden olup olmadığını görmek isteyebilirsiniz ve aynı olayda Katılım % ekleyerek, oyuncuları çekip çekmediğini görebilirsiniz.

Ekonomi metrikleri

Bir para birimi seçin, ardından aşağıdaki hesaplamalardan birini seçin:

Belirli ekonomi parçalarındaki harcamaları ölçmek için belirli işlem türleri veya öğe SKU'ları üzerinde filtreleme yapın.

Örneğin, yeni bir sezon geçişinin, ilerleme ödülleri olarak madeni paralar verdiğini test ettiğinizi varsayalım. Bunu, oyuncuların oyun içi güçlendirmeler için madeni para harcamasını gerektirecek şekilde ayarladınız. Madeni para biriminiz üzerinde:

• Ortalama para birimi gider değişimi oyuncuların daha fazla harcayıp harcamadığını gösterir.
• Ortalama para birimi kaynak değişimi oyuncuların daha fazla kazanıp kazanmadığını gösterir.
• Ortalama net para birimi değişimi ekstra harcamanın bakiyelerin şişmesini durdurup durdurmadığını gösterir.

Funnel metrikleri

Bir funnel seçin, ardından bir tamamlama adımı seçin, ardından aşağıdaki hesaplamalardan birini seçin:

Funnel metrikleri için aşağıdakileri aklınızda bulundurun:

• Bir tamamlama adımı seçmelisiniz. Deney başladıktan sonra bu adımı değiştiremezsiniz, bu nedenle metrikleriniz için kritik olan bir adım seçin.
• Tek seferlik funnel'lar her iki hesaplama için de aynı sonucu döndürür. Tek seferlik funnel'lar için, başlangıç funnel'ı dahil, kullanıcı başına ve örnek başına dönüşüm eşittir çünkü her oyuncunun yalnızca bir örneği vardır. Hesaplamalar yalnızca tekrarlayan funnel'lar için farklılık gösterir.
• Tekrarlayan funnel'lar farklı soruları yanıtlar. Kullanıcı başına dönüşüm, "kaç oyuncu bunu en az bir kez tamamladı" sorusunu yanıtlar, örnek başına dönüşüm ise "bir deneme ne sıklıkla başarılı oluyor" sorusunu yanıtlar. Bu metrikler zıt yönlerde hareket edebilir.
• Atlanan adımlar tamamlanmış olarak sayılır. Eğer bir oyuncu adım 3'ü kaydederse ancak adım 1 ve 2'yi kaydetmezse, funnel adım 1 ve 2'yi tamamlanmış olarak kabul eder. Tekrarlanan adımlar yalnızca bir kez sayılır. Daha fazla bilgi için Atlanan adımlar ve Tekrarlanan adımlar bölümüne bakın.

Örneğin, eğitim kılavuzunuzu yeniden düzenlediğinizi varsayalım. Tamamlama adımı olarak son adımı belirleyerek başlangıç funnel'ında Kullanıcı başına funnel dönüşüm % ekleyin ve bunu hedef metrik olarak ayarlayın. Daha sonra D1 tutmayı kontrol edin, böylece daha iyi bir tamamlamanın gerçekten oyuncuları geri getirip getirmediğini görebilirsiniz.

Özel metrik örnekleri

Özel metrik sonuçlarını okuyun

Deney metrikleri birikimlidir, ancak analitik gösterge tabloları günlük olarak güncellenir. Bir deney metriği, tüm deney penceresini toplar ve payda oyuncular olduğunda her oyuncuyu bir kez sayar. Analitik sayfaları varsayılan olarak günlük bir görünüm sunar, bu nedenle aynı temel olay iki yerde farklı sayılar üretebilir. Olaylarınızı keşfetmek ve doğru bir şekilde tetiklendiğini doğrulamak için analitik kullanın ve deney sonuçlarını varyantları kontrol ile karşılaştırmak için kullanın.

Özel metrikleri yorumlarken aşağıdakileri aklınızda bulundurun:

• Üst düzey bir metrikte hareket eden bir özel metrik bilgi, gürültü değil. Genellikle, değişikliğin mekanik olarak çalıştığı ancak henüz tutma veya gelir üzerinde istatistiksel olarak anlamlı bir etkisi olmadığı veya asla olmayacağı anlamına gelir.
• Yön her zaman iyi haber değildir. Kazanma oranındaki bir düşüş, eğer daha fazla zorluk eklediyseniz tam olarak istediğiniz şey olabilir. Deney başlamadan önce, hangi yönün bir kazanım olarak sayılacağına karar verin.
• İstatistiksel anlamlılık hala geçerlidir. Özel metrikler, diğer metrikler gibi aynı örnek boyutu kısıtlamalarına tabidir. Eğer bir değişiklik istatistiksel olarak anlamlı değilse, buna göre hareket etmeyin.
• Bir metriği aşırı vurgulamaktan kaçının. Eğer hedef metrik artıyorsa ancak bir öğrenme metriği önemli ölçüde düşüyorsa, bir takas yapmanız gerekir; bu, net bir kazanım değil.

Ödüllü video metrikleri

Ödüllü video reklamları, oyununuzdan daha fazla kazanmanıza yardımcı olabilir; bu, Robux harcamayan oyuncular için de geçerlidir. Ancak, ödüllü video reklamlarının yerleştirilmesini oyununuz ve ekonomisi ile uyumlu hale getirmeniz gerekir. Reklamı nereye yerleştirdiğiniz ve oyunculara hangi öğeleri ödüllendirdiğiniz, hem reklam kazançlarını hem de katılımı etkiler.

Ödüllü Video Kazançları metrik seti, reklam performansını varsayılan katılım, tutma ve para kazanma metrikleri ile birlikte takip eder, böylece reklamların oyununuzun geri kalanını etkilemediğinden emin olabilirsiniz. Bunu kullanarak:

• Bir ödüllü reklamı ayarlayın. Daha büyük bir ödül veya farklı bir yerleştirme test edin ve katılım oranı ve sıklığın artıp artmadığını kontrol edin.
• Takasları kontrol edin. Eğer reklam kazançları artıyorsa, oyun süresi, tutma veya ödeme dönüşüm oranının düşüp düşmediğini kontrol edin. Kullanıcı başına toplam kazanç, reklamlar ve mikro işlemlerin birleşik etkisini gösterir.
• Ödeme yapmayan oyunculara ulaşın. Bir reklam seçeneğinin, satın alma yapmamış oyunculardan kazanç getirip getirmediğini test edin, ödeyenlerin harcamalarını düşürmeden.

Ödüllü video kazançları deneyini ayarlama

Ödüllü video deneyleri, oyun içi deneylerdir, bu nedenle diğer oyun içi deneyler gibi çalışır. Reklam özelliğini, ödül boyutu veya reklam sıklığı gibi bir konfigürasyon ile kontrol edersiniz. Her varyantın farklı bir konfigürasyon değeri vardır ve kodunuz bu değeri ConfigService:GetConfigForPlayerAsync() ile okur. Daha fazla bilgi için Deneyleri kodunuza ekleyin bölümüne bakın.

1. Test etmek istediğiniz ödüllü video reklamı için zaten bir konfigürasyonunuz yoksa, bir tane oluşturun. Örneğin, mevcut bekleme süreniz kontrol değeri olarak adCooldownSeconds adlı bir sayısal konfigürasyon anahtarı oluşturun.

2. Yaratıcı Merkez Deneyler sayfasında, oyununuz için Deney oluştur butonuna tıklayın.

3. Tür için, Deneyim içi seçeneğini seçin.

4. Metrik seti için, Ödüllü Video Kazançları seçeneğini seçin. Roblox, kullanıcı başına gösterim ve kullanıcı başına toplam kazançları hedef metrikler olarak ayarlar, bu nedenle birini seçmenize gerek yoktur.

   

5. Deneyi her zamanki gibi ayarlamaya devam edin: süre, dağıtım yüzdesi, varyantlar, hedefleme ve zamanlama.

Ödüllü video kazançları metrikleri

Ödüllü Video Kazançları metrik seti, reklam metriklerinin yanı sıra, reklamların katılım, tutma veya para kazanmayı etkilemediğinden emin olabilmeniz için varsayılan metrikleri takip eder.

Deneyleri belirli kitlelere hedefleme

Varsayılan olarak, bir oyun içi deney, dağıtım yüzdesine dahil olan herhangi bir oyuncuyu kaydedebilir. Hedefleme, deneyin belirli bir kitle üzerinde çalışmasını sağlar; örneğin, belirli ülkelerdeki oyuncular, belirli süre pencereleri veya aktif harcayıcı katmanları gibi. Hedefleme, konfigürasyon hedefleme ile aynı özellikleri kullanır.

Hedeflenmiş deneyleri ayarlama

Hedefleme kriterlerini, deneyi oluşturduğunuzda yapılandırırsınız. Deney başladıktan sonra, hedefleme kurallarını, kontrol değerini, varyantları veya konfigürasyon anahtarının kullandığı herhangi bir koşullu kuralı değiştiremezsiniz.

Hedeflemenizi tanımlamak için konfigürasyonlarınızdan mevcut koşullu kuralları yeniden kullanabilirsiniz, ancak deney, her kuralın bağımsız bir kopyasını saklar. Daha sonra orijinal konfigürasyon koşulunu düzenlemek veya silmek, deneyin hedeflemesini etkilemez.

Kitleyi daraltmanın örnek boyutunu azaltacağını göz önünde bulundurarak, Roblox, hedefleme kriterlerinize uyan kitleyi tahmin ederek minimum tespit edilebilir etkiyi (MDE) günceller. Hedeflediğiniz kitlenin istatistiksel olarak anlamlı sonuçlar üretmek için yeterince büyük olduğundan emin olun.

Roblox'un hedeflenen değerleri nasıl çözdüğü

Roblox, deneyleri öncelikle değerlendirir, ardından standart koşullu konfigürasyonlardan herhangi bir kuralı uygular. Bir konfigürasyon anahtarının aktif bir deney varsa, Roblox değeri şu sırayla çözer:

1. Aktif deney değeri, eğer oyuncu hedeflenmiş ve kaydedilmişse.
2. İlk eşleşen konfigürasyon koşulu.
3. Herhangi bir sonraki eşleşen konfigürasyon koşulu.
4. Varsayılan değer.

Kontrol grubundaki oyuncular, mevcut konfigürasyon kurallarınızın ürettiği değeri alır. Aynı konfigürasyon anahtarı üzerinde birden fazla aktif deney çalıştıramazsınız.

Oturum başına değerlendirme

Roblox, hedefleme özelliklerini oturum başına değerlendirir, bu nedenle bir oyuncunun uygunluğu zamanla değişebilir:

• Eğer bir oyuncu, bir oturum sırasında hedefleme kriterlerinize uyuyorsa, kaydedilebilir ve bir deney varyantı alabilir.
• Eğer daha sonraki bir oturumda artık uymuyorlarsa, deney değerini almayı durdururlar ve hemen standart konfigürasyon kurallarınıza geri dönerler. Deneyinizin uygunluktan daha fazlasını gerektirmesi gerekiyorsa—örneğin, yeni oyunculara yönelik çok oturumlu bir başlangıç akışı—değeri kendiniz bir veri deposunda saklamanız gerekir.

Bir oyuncunun verileri, kaydedildiği varyant (veya kontrol) ile ilişkilendirilir; bu, daha sonra kriterleri karşılamadıkları durumda bile geçerlidir. Örneğin, D7 tutma, 0. günde kaydedilen bir oyuncuyu ve 7. günde geri dönüp dönmediğini sayar; bu, 4. günde artık uygun olmasalar bile geçerlidir.

Deney çalışırken konfigürasyon değişiklikleri

Yapılandırma kayması ve bozulmuş deney verilerini önlemek için, Roblox, bir deney çalışmaya başladığı anda konfigürasyon anahtarını kilitler:

• Çalışan konfigürasyon anahtarını düzenleyemez veya silemezsiniz; standart koşullu değerlerini de değiştiremezsiniz.
• Aktif konfigürasyonun referans verdiği herhangi bir küresel koşul da kilitlenir. Bunları düzenleyemez, silemez veya birbirleriyle ilgili olarak yeniden sıralayamazsınız.

Kilit, deney tamamlandığında serbest bırakılır.

Deneyleri kodunuza ekleyin

Oyun içi deneyleri uygulamak, konfigürasyonları uygulamak ile benzerdir. Ana fark, ConfigService:GetConfigForPlayerAsync() kullanımıdır; ConfigService:GetConfigAsync() yerine.

GetConfigForPlayerAsync() bir oyuncuya özgü bir anlık görüntü alır. GetValue() çağrısı yaptığınızda, anlık görüntü aktif bir deney olup olmadığını kontrol eder ve kullanıcıyı dağıtım yüzdesine göre kaydeder (veya kaydetmez).

local ConfigService = game:GetService("ConfigService")
local Players = game:GetService("Players")

local function onPlayerAdded(player)
    local playerConfig = ConfigService:GetConfigForPlayerAsync(player)
    local leaderboardColor = playerConfig:GetValue("leaderboardColor")
end

Players.PlayerAdded:Connect(onPlayerAdded)

• Her oyuncu için GetConfigForPlayerAsync() çağrısını ayrı ayrı yapmalısınız; GetConfigAsync() deneyleri uygulamaz.

• Bir oyuncuya özgü bir anlık görüntüde GetValue() çağrısını yaptığınızda, anlık görüntü ile ilişkilendirilen oyuncu, yalnızca o anahtar için ve o anahtar için deneyde kaydedilir. Tüm sonraki çağrılar, deney süresi boyunca aynı kontrol veya varyantı döndürür. İlk çağrı rastgeledir.

  GetValue() çağrısını ihtiyaç duyduğunuzda yapmayı bekleyin. GetValue() çağrısını çok erken yapmak, oyuncuları, deney yaptığınız oyunun parçasıyla etkileşime girmeyenler olarak kaydetmenize neden olabilir.

• Deneylere katılım, yalnızca yeni kullanıcılarla sınırlı değildir. Eğer bir kullanıcı daha önce GetConfigAsync() ile bir değer aldıysa, yine de GetConfigForPlayerAsync() ile bir deneyde kaydedebilirsiniz.

• Eğer bir oyuncuya özgü anlık görüntüde bir anahtarın aktif bir deney yoksa, GetValue() standart konfigürasyon değerini (veya değeri yoksa nil) döndürür.

Özel katılım

Eğer yalnızca oyun içi duruma dayalı kriterleri karşılayan oyuncuları kaydetmek istiyorsanız, bu kriterleri kontrol etmek için ek kod yazmanız ve yalnızca ardından GetValue() çağrısını yaparak onları deneyde kaydetmeniz gerekir. Aşağıdaki örneği düşünün:

• Yarış oyununuza yeni bir kontrol şeması test etmek istiyorsunuz.
• Şema, ileri düzey oyuncular içindir, bu nedenle birçok yarış kazanan oyuncuları hedeflemek istiyorsunuz.

Kodunuz aşağıdaki gibi görünebilir:

local function getControlScheme(player, racesWon)
    if racesWon < 20 then
        return "standardScheme"
    else
        -- Oyuncunun birçok zaferi var, deneyde kaydedin
        local playerConfigSnapshot = ConfigService:GetConfigForPlayerAsync(player)
        if playerConfigSnapshot:GetValue("useNewControlScheme") then
            return "newScheme"
        else
            return "standardScheme"
        end
    end
end

Eğer kontrol şemasının sonraki oturumlarda devam etmesini istiyorsanız, muhtemelen oyuncunun veri deposundaki kaydına bir değer eklemeniz gerekir.

Sonuçları görüntüleme ve yorumlama

Detayları ve sonuçları görmek için Görüntüle butonuna tıklayın. Detaylar ve İlerleme sekmesinde, kaydedilen toplam oyuncu sayısını ve kontrol değerini ve her varyantı alan oyuncu sayısını görebilirsiniz. Deneyin erken aşamalarında bu sayfayı görüntülemek, deneyin düzgün çalıştığından emin olmak için faydalıdır, harekete geçmek için değil. Harekete geçmeden önce, En İyi Uygulamalar bölümüne bakın.

Erken zarar metrikleri

İlk 24 saat boyunca veya ilk günlük sonuçlar gelene kadar, erken zarar metrikleri her 5 dakikada bir güncellenir, böylece istenmeyen kritik zararları erken yakalayabilirsiniz. Bu sonuçları görmek için Metrikler butonuna tıklayın. Kırmızı renkle vurgulanan kritik zarar veren metriklere bakın.

Bir metrik üzerine gelin ve Güven aralığını görüntüle butonuna tıklayarak güven aralığını görebilirsiniz.

Bu süre zarfında, sonuçlar yalnızca zarar için test edilir, bu nedenle güven aralığının alt sınırı yoktur, yalnızca üst sınırı vardır. Bir metrik, kritik zarar olarak yalnızca güven aralığının tamamı kritik zarar eşiğinin altında olduğunda işaretlenir. Aşağıdaki örnekte, Oyun Süresi -%12.67'dir ve üst sınır -%2.73'tür. Tahmin, kritik zarar eşiği olan -%10'dan daha düşük olmasına rağmen ve güven aralığının tamamı 0'ın altında olmasına rağmen, metrik kritik zarar olarak sınıflandırılmamaktadır çünkü aralık tamamen zarar eşiğinin altında değildir.

Bu sonuçları yalnızca ilk 24 saatte erken durdurma kararlarını yönlendirmek için kullanın. Başlatma kararları için bunları kullanmayın, bunun yerine günlük sonuçlara güvenin.

Erken zarar eşikleri

Her metrik için kendi erken zarar eşiği vardır. Eğer bir varyantın artışı bu eşiklerin altına düşerse, o metrik için kritik zarar olarak sınıflandırılacaktır. Ancak, varyant ve kontrol arasında 10,000'den az oyuncu kaydedilmişse, varyant artışları gösterilir ancak zarar kararları, örnek boyutu yeterli veri sağladığında yapılacaktır.

Erken zarar bildirimleri

Eğer deneyinizde erken zarar analizi döneminde kritik zarar tespit edilirse, oyun sahibi ve deney sahibi için erken harekete geçmek üzere bir bildirim gönderilir. Bildirimler, e-posta, Yaratıcı Merkez bildirim tepsisi ve isteğe bağlı webhook aracılığıyla gönderilir. Erken zarar bildirimi aldığınızda, deney metriklerini gözden geçirmeli ve deneyin erken durdurulup durdurulmayacağına karar vermelisiniz.

Günlük sonuçlar

Bir deney en az 24 saat çalıştıktan sonra, en son sonuçları görmek için Sonuçlar butonuna tıklayın; bu sonuçlar her 24 saatte bir güncellenir. Hedef metriklerde istatistiksel olarak anlamlı değişiklikler arayın; bu değişiklikler, gösterge tablosunda yeşil veya kırmızı ile vurgulanır. Bu değişiklikler, varyantınızın etkisini gösterme olasılığı daha yüksek ve yanlış pozitif veya negatif olma olasılığı daha düşüktür.

Bir metrik, güven aralığı yüzdesi değişimi 0 ile örtüşmediğinde istatistiksel olarak anlamlıdır. Aşağıdaki örnekte, ARPU %2.37 artmış, alt ve üst sınırlar %0.55 ve %4.19'dur; bu da değişikliği istatistiksel olarak anlamlı kılar.

Kolaylık olması açısından, sonuçlar sayfası varsayılan konfigürasyon değerini deneydeki varyantlardan biri ile değiştirme seçeneği sunar.

Örnek oranı uyumsuzluğu

Eğer deneyiniz, beklenen oranlarda kullanıcıları varyantlara kaydedemiyorsa, deney sonuçları sekmesinde Örnek Oranı Uyumsuzluğu (SRM) için bir uyarı banner'ı görünecektir. SRM tespit edilirse, deneyinizi durdurup yeniden başlatmanız önerilir.

SRM, deneyinizin ilk 24 saatinde her 5 dakikada bir kontrol edilir ve ardından günlük olarak kontrol edilir. SRM, deney sonuçlarını geçersiz kılabilir; bozulmuş ve güvenilir olmayan sonuçlara dayanarak başlatma kararları vermeyin.

Karar verme

Deneyiniz sona erdiğinde, Karar ver butonuna tıklayarak rehberli bir yayılma başlatın. Roblox, istatistiksel anlamlılık ve deney süresi ile ilgili herhangi bir uyarıyı gösterir ve ardından kazanan bir varyant seçmenizi veya kontrolü korumanızı ister. Seçiminize göre, Roblox uygun değişikliği kalıcı konfigürasyonlarınıza yayar; Konfigürasyonlar sayfasına döndüğünüzde yeni değeri görebilirsiniz. Fikriniz değişirse Kazananı değiştir butonuna tıklayın.

Eğer deney tamamlandığında konfigürasyonda çözülmemiş aşamalı değişiklikler varsa, Roblox bunları geçici olarak saklar ve yayılma sonrasında en iyi çaba ile geri yükler.

Seçiminiz, Roblox'un önerdiği konfigürasyon değişikliklerini belirler:

• Kontrol: Roblox mevcut konfigürasyonlarınıza hiçbir değişiklik yapmaz.
• Hedeflenmemiş varyant: Varyant değeri, konfigürasyonun yeni varsayılan değeri olur. Roblox, o konfigürasyon anahtarı üzerindeki diğer tüm koşulları kaldırır, ancak bunlar küresel koşullar listesinde kalır.
• Hedeflenmiş varyant: Roblox, kazanan kuralı kalıcı konfigürasyonunuza, bu öncelik sırasındaki ilk uygulanabilir seçenekle entegre eder:

  1. Üzerine yaz: Eğer aynı koşul zaten konfigürasyonun en üstünde yer alıyorsa, Roblox, kazanan varyantın değerini onunla değiştirir.
  2. Mevcut olanı ekle: Eğer eşleşen bir küresel koşul varsa ve doğal olarak en üstte yer alıyorsa, Roblox, varyantın değeri ile konfigürasyona ekler.
  3. Terfi ettir: Eğer eşleşen bir küresel koşul, onu bu konfigürasyondaki en üst kural haline getirmek için güvenli bir şekilde terfi ettirilebiliyorsa (diğer konfigürasyonları değiştirmeden), Roblox bunu konfigürasyona ekler ve küresel olarak yeniden sıralar.
  4. Yeni oluştur: Aksi takdirde, Roblox, konfigürasyonda şu anda kullanılan en yüksek koşuldan bir seviye daha yüksek bir yeni küresel koşul oluşturur. Eğer bu, konfigürasyonda bir kopya kural oluşturursa, Roblox, küresel kuralı korurken gereksiz koşul değerini kaldırır.

Deneyler için en iyi uygulamalar

• Deneyinizin değerli olup olmadığını belirlemek için minimum tespit edilebilir etkiyi (MDE) kullanın.

  Roblox, MDE'yi hedef metrik ve varyant başına oyuncu sayısı kullanarak hesaplar; bu, günlük aktif kullanıcılar, dağıtım yüzdesi, deney süresi ve varyant bölmeleri temel alınarak yapılır. Eğer MDE, hedef metrik için çok yüksekse (örneğin, %100'den fazla), istatistiksel anlamlılığa ulaşmanız olası değildir. 1,000'den az günlük aktif kullanıcıya sahip oyunlar, deneylerden yararlı veri elde etmekte zorluk çekebilir.

  

• Bir hipotezle başlayın. Sadece bir değişken değiştirip sonuçları kontrol etmek yerine, neyi değiştirdiğiniz, ne olmasını beklediğiniz ve nedenini içeren bir neden-sonuç ifadesi yazın. Deneyler yaptıkça, sonuçlarınıza eşlik edecek yazılı hipotezler setine sahip olmak, düşüncelerinizi netleştirmeye ve yeni deney fikirleri bulmaya yardımcı olabilir.

• Deneylerin tam süreleri boyunca çalışmasına izin verin. Yenilik etkisi (bir değişikliğe olan geçici ilgi, daha iyi olduğu için değil, yeni olduğu için) erken sonuçları ağır şekilde çarpıtabilir; bazen bunların istatistiksel anlamlılık içinde dalgalanmasına neden olabilir. Deneyleri erken sonlandırmak, anormal zirvelere dayanarak aceleci harekete geçme olasılığınızı artırır; daha fazla veri, bu zirveleri düzleştirebilir veya hatta çelişebilir.

  • İstisna, ilk 24 saatteki erken zarar durumudur: Eğer metrikler kritik zarar olarak işaretlenirse veya örnek oranı uyumsuzluğu görürseniz, gözden geçirin ve durdurmayı düşünün. Başlatma kararları için erken zarar sonuçlarını kullanmayın.

• İstatistiksel anlamlılık olmadan harekete geçmeyin. Görünüşte büyük oyuncu davranışı değişiklikleri, genellikle küçük örnek boyutu nedeniyle istatistiksel olarak anlamlı olmayabilir. Eğer bir değişiklik istatistiksel olarak anlamlı değilse, bunu göz ardı edin.

• Deneyler sırasında değişikliklerden kaçının. Büyük hatalar elbette düzeltilmelidir, ancak oyun içi içerik değişiklikleri oyuncu davranışını etkileyebilir ve sonuçlarınızı geçersiz kılabilir; bu, değişiklikler ilişkili görünse bile geçerlidir. Benzer şekilde, yalnızca birbirleriyle etkileşime girmeyeceklerinden emin olduğunuzda deneyleri aynı anda çalıştırın.

• Metriklerde derinlemesine incelemeler için güven aralıklarını kullanın ve istatistiksel anlamlılık sınır durumlarını kontrol edin. Eğer güven aralığı çok genişse, metrik asla istatistiksel anlamlılığa ulaşamayabilir.

• Eğer bir metrik önemli ölçüde artıyorsa ve diğeri önemli ölçüde düşüyorsa, takasın değerli olup olmadığına karar vermeniz gerekir; bu, diğer istatistiksel olarak anlamlı hareketlerle birlikte olabilir.

• Deneyler güçlü sinyaller sağlar, ancak istatistiksel anlamlılık olasılıklar ile ilgilidir, kesinliklerle değil—bu nedenle güven aralığı. Veri değişkenliği, örnek boyutu ve değişikliğin büyüklüğü, bir varyantın oyuncu davranışını etkileyip etkilemediğini tespit etme olasılığını etkiler. Deney sonuçlarına dayanarak alacağınız her eylem, oyuncu geri bildirimi ve oyununuzun genel vizyonu gibi nitel verilerle dengelenmelidir.

• Bulgularınızı ve kararlarınızı belgeleyin. Ek deneyler yürütmek için kullanmasanız bile, bir bilgi ve kanıt havuzuna sahip olmak, oyunlarınızı nasıl tasarlayacağınızı bilgilendirebilir.