Deneyler

Deneyler, oyununuzdaki değişikliklerin neden olduğu etkileri ölçmek için oyun içi ve eşleştirme A/B testleri yapmanıza olanak tanır. Örneğin, farklı oyunculara farklı başlangıç deneyimleri gösterebilir ve oyun süresi, tutma oranı ve diğer anahtar performans göstergeleri arasındaki farkı ölçebilirsiniz.

Deneyler, aşağıdakileri ölçmek için mükemmeldir:

• Katılım - Başlangıç akışları, ilerleme sistemleri, kontrol şemaları, özel eşleştirme
• Para kazanma - Mağaza görünürlüğü ve kullanıcı deneyimi, başlangıç paketi türleri, fiyatlandırma

Deneyler oluşturma

Deneyler iki türde gelir:

• Oyun içi deneyler, farklı konfigürasyon değerlerinin etkisini ölçmenizi sağlar.
• Eşleştirme deneyleri, farklı özel eşleştirme yapılandırmalarının etkisini ölçmenizi sağlar. Oyun içi deneylerin aksine, yalnızca bir eşleştirme deneyini aynı anda çalıştırabilirsiniz.

1. Eğer zaten bir konfigürasyon yoksa, oyununuz için bir tane oluşturun.

2. Yaratıcı Merkez Deneyler sayfasında, Deney oluştur butonuna tıklayın.

3. Tür için, Deneyim içi seçeneğini seçin.

4. Deney için bir isim, hedef metrik ve planlanan süre belirtin. Deneyler 14-60 gün arasında çalışır.

   Hedef metrik olarak ne seçerseniz seçin, deneyler listedeki tüm metrikleri takip eder.

5. Bir yüzdelik dağıtım seçin. Bu sayı, deneye dahil etmek istediğiniz oyuncuların yüzdesidir.

   Genel olarak, bir deneyde daha fazla insan dahil etmek, verilerin daha iyi olmasını sağlar, ancak oyununuz için en iyisinin ne olduğunu değerlendirin.

   Deneyin güvenilir bir şekilde tespit edebileceği seçilen metrikteki en küçük değişiklik olan minimum tespit edilebilir etkiye dikkat edin.

6. Varyantları ve yüzdeleri belirtin.

   Varyantlar, konfigürasyonunuz için alternatif değerlerdir. Kontrol değeri 500 olan bir sayısal konfigürasyon anahtarı bossHealth için, 300 değerinde bir varyant belirtebilirsiniz. Bir deneyde en fazla iki varyant ve bir kontrol olabilir.

   Yüzdeler, varyantların deney dağıtımı içinde nasıl atanacağını belirler. Aşağıdaki örneği düşünün:

   • Genel dağıtım olarak %40 seçtiniz.
   • İki varyant ve bunlar ile kontrol arasında %50/50 bölüşüm belirlediniz.

   Bu örnekte, kullanıcılarınızın %60'ı deneyden hariç tutulur; bu kullanıcılar kontrolü alır ve deney sonuçlarını etkilemez. Kullanıcılarınızın yaklaşık %20'si deneyin bir parçası olarak kontrolü alır. Diğer %20'si varyantı alır. Oyuncu sayınıza bağlı olarak, bu dağıtım, eyleme geçirilebilir sonuçlar elde etmek için yeterince büyük olmayabilir.

   Şüphe durumunda, büyük dağıtımlarda bir varyant ve bir kontrol ile basit %50/50 deneyler öneririz. Deneyler yapılandırması daha kolaydır ve sonuçları yorumlamak daha kolaydır.

   

7. (İsteğe bağlı) Deneyi belirli bir kitleye hedefleyin, böylece yalnızca eşleşen oyuncular kaydolmaya uygun olur. Hedefleme, koşullu konfigürasyonlar ile aynı oyuncu özelliklerini kullanır ve mevcut koşulları doğrudan konfigürasyonlarınızdan kopyalayabilirsiniz. Daha fazla bilgi için Deneyleri belirli kitlelere hedefleme bölümüne bakın.

   

8. Son adım zamanlamadır. Deneyleri hemen başlatabilir veya gelecekteki bir tarih ve saat için planlayabilirsiniz. Bir deneyi planladıktan sonra, yapılandırmasını (süre, dağıtım yüzdesi, varyantlar vb.) değiştiremezsiniz, ancak yeniden planlayabilirsiniz.

Metrikler

Deneyler, deney süresi boyunca aşağıdaki tüm metrikleri takip eder. Bu metrikler, deney çalışırken her 24 saatte bir güncellenir. Ancak, deneyinizin ilk 24 saatinde, Oyun Süresi, Ödeyen dönüşüm oranı ve ARPU da her 5 dakikada bir güncellenir, böylece kritik gerilemeleri (erken zarar) hızlı bir şekilde yakalayabilirsiniz.

Deney durumu

Deneyler sayfası, deneyler için aşağıdaki durumları gösterir.

Deneyleri belirli kitlelere hedefleme

Varsayılan olarak, bir oyun içi deney, dağıtım yüzdesindeki herhangi bir oyuncuyu kaydedebilir. Hedefleme, deneyi belirli bir kitle üzerinde çalıştırmanıza olanak tanır; örneğin, belirli ülkelerdeki oyuncular, belirli süre pencereleri veya aktif harcayan seviyeleri gibi. Hedefleme, konfigürasyon hedefleme ile aynı özellikleri kullanır.

Hedeflenmiş deneyleri ayarlama

Hedefleme kriterlerini, deneyi oluşturduğunuzda yapılandırırsınız. Deney başladıktan sonra, hedefleme kurallarını, kontrol değerini, varyantları veya konfigürasyon anahtarının kullandığı herhangi bir koşullu kuralı değiştiremezsiniz.

Hedeflemenizi tanımlamak için mevcut koşullu kuralları konfigürasyonlarınızdan yeniden kullanabilirsiniz, ancak deney, her kuralın bağımsız bir kopyasını saklar. Daha sonra orijinal konfigürasyon koşulunu düzenlemek veya silmek, deneyin hedeflemesini etkilemez.

Hedef kitlenizi daraltmak, örnek boyutunuzu azaltacağından, Roblox, hedefleme kriterlerinize uyan kitlenin tahminine dayalı olarak minimum tespit edilebilir etkiyi (MDE) günceller. Hedeflediğiniz kitlenin istatistiksel olarak anlamlı sonuçlar üretmek için yeterince büyük olduğundan emin olun.

Roblox'un hedeflenen değerleri nasıl çözdüğü

Roblox, deneyleri öncelikle değerlendirir, ardından standart koşullu konfigürasyonlardan gelen herhangi bir kuralı uygular. Bir konfigürasyon anahtarının aktif bir deneyi varsa, Roblox değeri şu sırayla çözer:

1. Aktif deney değeri, eğer oyuncu hedeflenmiş ve kaydedilmişse.
2. İlk eşleşen konfigürasyon koşulu.
3. Herhangi bir sonraki eşleşen konfigürasyon koşulu.
4. Varsayılan değer.

Kontrol grubundaki oyuncular, mevcut konfigürasyon kurallarınızın ürettiği değeri alır. Aynı konfigürasyon anahtarı üzerinde birden fazla aktif deney çalıştıramazsınız.

Oturum başına değerlendirme

Roblox, hedefleme özelliklerini her oturumda değerlendirir, bu nedenle bireysel bir oyuncunun uygunluğu zamanla değişebilir:

• Eğer bir oyuncu oturum sırasında hedefleme kriterlerinize uyuyorsa, kaydedilebilir ve bir deney varyantı alabilir.
• Eğer daha sonraki bir oturumda artık uymuyorsa, deney değerini almayı durdurur ve hemen standart konfigürasyon kurallarınıza geri döner. Deneyinizin uygunluktan öte süreklilik gerektirmesi gerekiyorsa—örneğin, yeni oyunculara yönelik çok oturumlu bir başlangıç akışı—değeri kendiniz saklamanız gerekir, örneğin bir veri deposunda.

Bir oyuncunun verileri, kaydedildiği varyant (veya kontrol) ile ilişkilendirilir, hatta daha sonra kriterlere uymasa bile. Örneğin, D7 tutma, 0. günde kaydedilen bir oyuncuyu ve 7. günde geri dönüp dönmediğini sayar, hatta 4. günde artık nitelikli olmasa bile.

Deney çalışırken konfigürasyon değişiklikleri

Yapılandırma kayması ve bozulmuş deney verilerini önlemek için, Roblox, bir deney çalışmaya başladığı anda konfigürasyon anahtarını kilitler:

• Çalışan konfigürasyon anahtarını düzenleyemez veya silemezsiniz, ayrıca standart koşullu değerlerini de değiştiremezsiniz.
• Aktif konfigürasyonun referans verdiği herhangi bir global koşul da kilitlenir. Bunları düzenleyemez, silemez veya birbirleriyle ilgili sıralayamazsınız.

Kilit, deney tamamlandığında serbest bırakılır.

Deneyleri kodunuza ekleyin

Oyun içi deneyleri uygulamak, konfigürasyonları uygulamaya benzer. Ana fark, ConfigService:GetConfigForPlayerAsync() kullanımıdır; ConfigService:GetConfigAsync() yerine.

GetConfigForPlayerAsync() bir oyuncuya özel anlık görüntü alır. GetValue() çağrıldığında, anlık görüntü aktif bir deney olup olmadığını kontrol eder ve kullanıcıyı dağıtım yüzdesine göre kaydeder (veya kaydetmez).

local ConfigService = game:GetService("ConfigService")
local Players = game:GetService("Players")

local function onPlayerAdded(player)
    local playerConfig = ConfigService:GetConfigForPlayerAsync(player)
    local leaderboardColor = playerConfig:GetValue("leaderboardColor")
end

Players.PlayerAdded:Connect(onPlayerAdded)

• Her oyuncu için GetConfigForPlayerAsync() çağrısını ayrı ayrı yapmalısınız; GetConfigAsync() deneyleri uygulamaz.

• Bir oyuncuya özel anlık görüntüde GetValue() çağrısını yaptıktan sonra, anlık görüntü ile ilişkilendirilen oyuncu, yalnızca o anahtar için deneyde kaydedilir. Tüm sonraki çağrılar, deney süresi boyunca aynı kontrol veya varyantı döndürür. İlk çağrı rastgeledir.

  GetValue() çağrısını ihtiyaç duyduğunuzda yapmayı bekleyin. GetValue() çağrısını çok erken yapmak, oyuncuları, deney yaptığınız oyunun o kısmıyla asla etkileşime girmeyen oyuncuları kaydetmenize neden olabilir.

• Deneylere kaydolma, yalnızca yeni kullanıcılarla sınırlı değildir. Bir kullanıcı daha önce GetConfigAsync() ile bir değer aldıysa, yine de GetConfigForPlayerAsync() ile bir deneyde kaydedebilirsiniz.

• Eğer bir oyuncuya özel anlık görüntüde bir anahtar aktif bir deney yoksa, GetValue() standart konfigürasyon değerini (veya değeri yoksa nil) döndürür.

Özel kaydolma

Eğer yalnızca oyun içi duruma dayalı kriterleri karşılayan oyuncuları kaydetmek istiyorsanız, bu kriterleri kontrol etmek için ek kod yazmanız ve yalnızca o zaman GetValue() çağrısını yapmanız gerekir. Aşağıdaki örneği düşünün:

• Yarış oyununuza yeni bir kontrol şeması test etmek istiyorsunuz.
• Şema, ileri düzey oyuncular içindir, bu nedenle birçok yarışı kazanmış oyuncuları hedeflemek istiyorsunuz.

Kodunuz aşağıdaki gibi görünebilir:

local function getControlScheme(player, racesWon)
    if racesWon < 20 then
        return "standardScheme"
    else
        -- Oyuncunun birçok zaferi var, deneye kaydet
        local playerConfigSnapshot = ConfigService:GetConfigForPlayerAsync(player)
        if playerConfigSnapshot:GetValue("useNewControlScheme") then
            return "newScheme"
        else
            return "standardScheme"
        end
    end
end

Eğer kontrol şemasının sonraki oturumlarda devam etmesini istiyorsanız, muhtemelen oyuncunun veri deposundaki kaydına bir değer eklemeniz gerekecektir.

Sonuçları görüntüleme ve yorumlama

Detayları ve sonuçları görmek için Görüntüle butonuna tıklayın. Detaylar ve İlerleme sekmesinde, kaydedilen toplam oyuncu sayısını ve kontrol değerini ve her varyantı alan oyuncu sayısını görebilirsiniz. Bu sayfayı deneyin düzgün çalıştığından emin olmak için deneyin erken dönemlerinde görüntülemek faydalıdır, harekete geçmek için değil. Harekete geçmeden önce, En iyi uygulamalar bölümüne bakın.

Erken zarar metrikleri

İlk 24 saat boyunca veya ilk günlük sonuçlar gelene kadar, erken zarar metrikleri her 5 dakikada bir güncellenir, böylece istenmeyen kritik zararları erken yakalayabilirsiniz. Bu sonuçları görmek için Metrikler butonuna tıklayın. Kırmızı renkle vurgulanan kritik zarar veren metriklere dikkat edin.

Bir metrik üzerine gelin ve Güven aralığını görüntüle butonuna tıklayarak güven aralığını görebilirsiniz.

Bu süre zarfında, sonuçlar yalnızca zarar için test edilir, bu nedenle güven aralığının alt sınırı yoktur, yalnızca üst sınırı vardır. Bir metrik, kritik zarar olarak işaretlenir, yalnızca güven aralığının tamamı kritik zarar eşiğinin altında olduğunda. Aşağıdaki örnekte, Oyun Süresi -%12.67'dir ve üst sınırı -%2.73'tür. Tahmin, kritik zarar eşiği olan -%10'dan daha düşük olmasına ve güven aralığının tamamı 0'ın altında olmasına rağmen, metrik kritik zarar olarak sınıflandırılmaz çünkü aralık tamamen zarar eşiğinin altında değildir.

Bu sonuçları yalnızca ilk 24 saatte erken durdurma kararlarını yönlendirmek için kullanın. Başlatma kararları için bu sonuçları kullanmayın, bunun yerine günlük sonuçlara güvenin.

Erken zarar eşikleri

Her metrik için kendi erken zarar eşiği vardır. Eğer bir varyantın artışı bu eşikten düşükse, o metrik için kritik zarar olarak sınıflandırılacaktır. Ancak, varyant ve kontrol arasında 10,000'den az oyuncu kaydedilmişse, varyant artışları gösterilir ancak zarar kararları, örnek boyutu yeterli veri sağlamak için güvenilir bir şekilde zarar tespit edene kadar yapılmaz.

Erken zarar bildirimleri

Eğer deneyinizde erken zarar analiz süresi boyunca kritik zarar tespit edilirse, oyun sahibi ve deney sahibi için erken eylem için bir bildirim gönderilir. Bildirimler, e-posta, Yaratıcı Merkez bildirim tepsisi ve isteğe bağlı webhook aracılığıyla gönderilir. Erken zarar bildirimi aldığınızda, deney metriklerini gözden geçirmeli ve deneyin erken durdurulup durdurulmayacağına karar vermelisiniz.

Günlük sonuçlar

Bir deney en az 24 saat çalıştıktan sonra, en son sonuçları görmek için Sonuçlar butonuna tıklayın; bu sonuçlar her 24 saatte bir güncellenir. Hedef metriklerde istatistiksel olarak anlamlı değişiklikler arayın; bu değişiklikler, gösterge panelinde yeşil veya kırmızı ile vurgulanır. Bu değişikliklerin, varyantınızın etkisini gösterme olasılığı daha yüksektir ve yanlış pozitif veya negatif olma olasılığı daha düşüktür.

Bir metrik, güven aralığı yüzdesi 0% ile örtüşmediğinde istatistiksel olarak anlamlıdır. Aşağıdaki örnekte, ARPU %2.37 artmış, alt ve üst sınırları %0.55 ve %4.19'dur; bu da değişikliğin istatistiksel olarak anlamlı olduğunu gösterir.

Kolaylık olması açısından, sonuçlar sayfası, varsayılan konfigürasyon değerini deneydeki varyantlardan biriyle değiştirme olanağı sunar.

Örnek oranı uyumsuzluğu

Eğer deneyiniz, beklenen oranlarda kullanıcıları varyantlara kaydedemiyorsa, deney sonuçları sekmesinde Örnek Oranı Uyumsuzluğu (SRM) için bir uyarı banner'ı görünecektir. SRM tespit edilirse, deneyinizi durdurup yeniden başlatmanız önerilir.

SRM, deneyinizin ilk 24 saatinde her 5 dakikada bir kontrol edilir ve ardından günlük olarak kontrol edilir. SRM, deney sonuçlarını geçersiz kılabilir; tehlikeye atılmış ve güvenilir olmayan sonuçlara dayanarak başlatma kararları vermeyin.

Karar verme

Deneyiniz sona erdiğinde, Karar ver butonuna tıklayarak rehberli bir dağıtım başlatın. Roblox, istatistiksel anlamlılık ve deney süresi hakkında herhangi bir uyarı gösterir, ardından size kazanan bir varyant seçmenizi veya kontrolü korumanızı ister. Seçiminize bağlı olarak, Roblox, kalıcı konfigürasyonlarınıza uygun değişikliği dağıtır; Konfigürasyonlar sayfasına döndüğünüzde yeni değeri görebilirsiniz. Fikriniz değişirse Kazananı değiştir butonuna tıklayın.

Deneyi tamamladığınızda konfigürasyonda çözülmemiş aşamalı değişiklikler varsa, Roblox bunları geçici olarak saklar ve dağıtım sonrasında en iyi çaba ile geri yükler.

Seçiminiz, Roblox'un önerdiği konfigürasyon değişikliklerini belirler:

• Kontrol: Roblox, mevcut konfigürasyonlarınıza hiçbir değişiklik yapmaz.

• Hedeflenmemiş varyant: Varyant değeri, konfigürasyonun yeni varsayılan değeri olur. Roblox, o konfigürasyon anahtarındaki diğer tüm koşulları kaldırır, ancak bunlar global koşul listesinde kalır.

• Hedeflenmiş varyant: Roblox, kazanan kuralı kalıcı konfigürasyonunuza, bu öncelik sırasındaki ilk uygulanabilir seçenekle entegre eder:

  1. Üzerine yaz: Eğer aynı koşul zaten konfigürasyonun en üstünde bulunuyorsa, Roblox, kazanan varyantın değerini onunla değiştirir.
  2. Mevcut ekle: Eğer eşleşen bir global koşul varsa ve doğal olarak en üstte yer alıyorsa, Roblox, varyantın değerini kullanarak konfigürasyona ekler.
  3. Terfi ettir: Eğer eşleşen bir global koşul, onu bu konfigürasyondaki en üst kural haline getirmek için gereken en düşük rütbeye güvenli bir şekilde terfi ettirilebiliyorsa (diğer konfigürasyonları değiştirmeden), Roblox bunu konfigürasyona ekler ve global olarak sıralar.
  4. Yeni oluştur: Aksi takdirde, Roblox, konfigürasyonda şu anda kullanılan en yüksek koşuldan bir seviye daha yüksek bir global koşul oluşturur. Eğer bu, konfigürasyonda bir kopya kural oluşturursa, Roblox, global kuralı korurken gereksiz koşul değerini kaldırır.

Deneyler için en iyi uygulamalar

• Minimum tespit edilebilir etkiyi (MDE) kullanarak deneyinizin çalışmaya değer olup olmadığını belirleyin.

  Roblox, MDE'yi hedef metrik ve varyant başına oyuncu sayınıza göre hesaplar; bu, günlük aktif kullanıcılar, dağıtım yüzdesi, deney süresi ve varyant bölüşümleri temel alınarak yapılır. Eğer MDE, hedef metrik için çok yüksekse (örneğin, %100'den fazla), istatistiksel anlamlılığa ulaşmanız olası değildir. 1,000'den az günlük aktif kullanıcıya sahip oyunlar, deneylerden yararlı veri elde etmekte zorluk çekebilir.

  

• Bir hipotezle başlayın. Sadece bir değişkeni değiştirip sonuçları kontrol etmek yerine, neyi değiştirdiğinize, ne olmasını beklediğinize ve nedenine dair bir neden-sonuç ifadesi yazın. Deneyler yaptıkça, sonuçlarınıza eşlik edecek yazılı hipotezler setine sahip olmak, düşüncelerinizi netleştirmeye ve yeni deney fikirleri bulmanıza yardımcı olabilir.

• Deneylerin tam süreleri boyunca çalışmasına izin verin. Yenilik etkisi (bir değişikliğe geçici ilgi, daha iyi olduğu için değil, yeni olduğu için) erken sonuçları ağır bir şekilde çarpıtabilir ve bazen istatistiksel anlamlılıkta dalgalanmalara neden olabilir. Deneyleri erken sonlandırmak, anormal zirvelere dayanarak aceleci eylemlerde bulunma olasılığınızı artırır; daha fazla veri, bu tür dalgalanmaları düzleştirebilir veya hatta çelişebilir.

  • İstisna, ilk 24 saatteki erken zarar durumudur: Eğer metrikler kritik zarar olarak işaretlenirse veya örnek oranı uyumsuzluğu görürseniz, gözden geçirin ve durdurmayı düşünün. Başlatma kararları için erken zarar sonuçlarını kullanmayın.

• İstatistiksel anlamlılık olmadan harekete geçmeyin. Görünüşte büyük oyuncu davranışı değişiklikleri, genellikle küçük örnek boyutundan dolayı istatistiksel olarak anlamlı olmayabilir. Eğer bir değişiklik istatistiksel olarak anlamlı değilse, göz ardı edin.

• Deneyler sırasında değişikliklerden kaçının. Büyük hatalar elbette düzeltilmelidir, ancak oyun içeriğindeki değişiklikler oyuncu davranışını etkileyebilir ve sonuçlarınızı geçersiz kılabilir, değişiklikler ilişkili görünse bile. Benzer şekilde, yalnızca birbirleriyle etkileşime girmeyeceklerinden emin olduğunuzda deneyleri aynı anda çalıştırın.

• Metriklerde derinlemesine incelemeler için güven aralıklarını kullanın ve istatistiksel anlamlılığın sınır durumlarını kontrol edin. Eğer güven aralığı çok genişse, metrik asla istatistiksel olarak anlamlı hale gelmeyebilir.

• Eğer bir metrik önemli ölçüde artmışsa ve diğeri önemli ölçüde azalmışsa, takasın değerli olup olmadığına karar vermeniz gerekir, muhtemelen diğer istatistiksel olarak anlamlı hareketlerle birlikte.

• Deneyler güçlü sinyaller sağlar, ancak istatistiksel anlamlılık olasılıklar ile ilgilidir, kesinliklerle değil—bu nedenle güven aralığı. Veri değişkenliği, örnek boyutu ve değişikliğin büyüklüğü, bir varyantın oyuncu davranışını etkileyip etkilemediğini tespit etme olasılığını etkiler. Deney sonuçlarına dayanarak alacağınız her eylem, oyuncu geri bildirimi gibi nitel verilerle ve oyununuzun genel vizyonuyla dengelenmelidir.

• Bulgularınızı ve kararlarınızı belgeleyin. Ek deneyler yürütmek için kullanmasanız bile, bir bilgi ve kanıt havuzuna sahip olmak, oyunlarınızı nasıl tasarlayacağınızı bilgilendirebilir.