Deneyler

Deneyler, oyununuzda değişikliklerin sebep olduğu etkiyi ölçmek için oyun içi ve eşleştirme A/B testleri yapmanızı sağlar. Örneğin, farklı onbağlanma deneyimlerini farklı oyunculara gösterebilir ve oyun süresi, devam etme oranı ve diğer anahtar performans göstergeleri arasındaki farkı ölçebilirsiniz.

Deneyler, aşağıdakileri ölçmek için mükemmeldir:

• Katılım - Onbağlanma akışları, ilerleme sistemleri, kontrol şemaları, özel eşleştirme
• Monetizasyon - Dükkan görünürlüğü ve kullanıcı deneyimi, başlangıç paketi türleri, fiyatlandırma

Deneyler oluşturma

Deneyler, iki türdedir:

• Oyun içi deneyler, farklı konfigürasyon değerlerinin etkisini ölçmenizi sağlar.
• Eşleştirme deneyleri, farklı özel eşleştirme yapılandırmalarının etkisini ölçmenizi sağlar. Oyun içi deneylerden farklı olarak, aynı anda yalnızca bir eşleştirme deneyini çalıştırabilirsiniz.

1. Zaten bir konfigürasyon yoksa, oyununuz için bir tane oluşturun.

2. Oyununuzun Creator Hub Deneyler sayfasında Deney oluştur butonuna tıklayın.

3. Tür olarak Deneyim içi seçin.

4. Deney için bir ad, hedef metrik ve planlanan süre belirtin. Deneyler 14-60 gün arasında çalışır.

   Hedef metrik olarak neyi seçtiğinizden bağımsız olarak, deneyler listedeki tüm metrikleri takip eder.

5. Bir yüzde dağılımı seçin. Bu sayı, deneyin içine dahil etmek istediğiniz oyuncuların yüzdesidir.

   Genel olarak, bir deneyde ne kadar çok insan dahil ederseniz, veriler o kadar iyi olur, ancak oyununuz için en iyisinin ne olduğu konusunda kendi takdirinize güvenin.

   Deneyin güvenilir bir şekilde tespit edebileceği seçilen metrikteki en küçük değişimi belirtmek için minmum tespit edilebilir etkiye dikkat edin.

6. Variantları ve yüzdeleri belirtin.

   Variantlar, konfigürasyonunuz için alternatif değerlerdir. 500 kontrol değerine sahip bir sayısal konfigürasyon anahtarı bossHealth için 300'lük bir variant belirleyebilirsiniz. Bir deneyde en fazla iki variant ve bir kontrol bulunabilir.

   Yüzdeler, deney dağıtımında nasıl variant atanacağını belirler. Aşağıdaki örneği düşünün:

   • Genel bir dağıtım olarak %40 seçtiniz.
   • İki variant ve bunlar ile kontrol arasında %50/50'lik bir bölme belirttiniz.

   Bu örnekte, kullanıcılarınızın %60'ı deneyden dışlanmıştır; bu kullanıcılar kontrolü alır ve deney sonuçlarını etkilemezler. Kullanıcılarınızın yaklaşık %20'si, deneyin bir parçası olarak kontrolü alır. Diğer %20'si ise variantı alır. Oyuncu sayınıza bağlı olarak, bu dağılım uygulanabilir sonuçlar elde etmek için yeterince büyük olmayabilir.

   Şüphe duyduğunuzda, büyük dağıtımlarda bir variant ve bir kontrol ile basit %50/50 deneylerini öneriyoruz. Deneyleri yapılandırmak daha kolaydır ve sonuçları yorumlamak daha basittir.

   

7. Son adım zamanlamadır. Deneyleri hemen başlatabilir veya daha sonraki bir tarih ve saatte planlayabilirsiniz. Bir deneyi planladıktan sonra, konfigürasyonunu (süre, dağıtım yüzdesi, variantlar vb.) değiştiremezsiniz, ancak yeniden planlayabilirsiniz.

Metrikler

Deneyler, deney süresi boyunca aşağıdaki tüm metrikleri takip eder.

Deney durumu

Deneyler sayfası, deneyler için aşağıdaki durumları gösterir.

Deneyleri kodunuza ekleme

Oyun içi deneyleri uygulamak, konfigürasyon uygulamak ile benzerdir. Ana fark, ConfigService:GetConfigForPlayerAsync() kullanımındadır; ConfigService:GetConfigAsync() yerine.

GetConfigForPlayerAsync() oyuncuya özel bir anlık görüntü alır. GetValue() çağrıldığında, anlık görüntü, aktif bir deney olup olmadığını kontrol eder ve dağıtım yüzdesine göre kullanıcıyı kaydeder (veya kaydetmez).

local ConfigService = game:GetService("ConfigService")
local Players = game:GetService("Players")

local function onPlayerAdded(player)
    local playerConfig = ConfigService:GetConfigForPlayerAsync(player)
    local leaderboardColor = playerConfig:GetValue("leaderboardColor")
end

Players.PlayerAdded:Connect(onPlayerAdded)

• GetConfigForPlayerAsync()'i her oyuncu için ayrı çağırmalısınız; GetConfigAsync() deneyleri uygulamaz.

• Bir oyuncuya özel anlık görüntüde GetValue() çağrıldıktan sonra, o anlık görüntü ile ilişkili oyuncu, yalnızca o anahtar için deneyin içine kaydedilir. İleriki çağrılar, deneyin süresi boyunca aynı kontrol veya variantı döndürür. İlk çağrı rastgele olur.

  GetValue() çağrısını ihtiyaç duyduğunuz zaman bekleyin. GetValue()'yi çok erken çağırmak, oyuncuları, denediğiniz oyunun alanı ile asla etkileşime girmeyen bölüme kaydetmenize neden olabilir.

• Deneylere katılım, yalnızca yeni oyuncularla sınırlı değildir. Daha önce GetConfigAsync()'ten bir değer almış olan bir kullanıcıyı, GetConfigForPlayerAsync()'ten alınan bir oyuncuya özel anlık görüntü ile hala deneyin içine kaydedebilirsiniz.

• Bir oyuncuya özel anlık görüntüdeki bir anahtar aktif bir deneye sahip değilse, GetValue() standart konfigürasyon değerini (veya değeri yoksa nil) döndürür.

Hedefli katılım

Oyuncularınızın belirli kriterleri karşılayan bir kısmına hedeflemek istiyorsanız, bu kriterleri kontrol etmek için ek kod yazmalı ve sadece ondan sonra GetValue()'yi çağırarak onları deneyin içine kaydetmelisiniz. Aşağıdaki örneği düşünün:

• Oyununuzda yeni bir kontrol şemasını test etmek istiyorsunuz.
• Mevcut oyuncuları (muhtemelen mevcut şemaya alışkın olan) dahil etmek istemiyorsunuz; yalnızca yeni oyuncular.

Kodunuz aşağıdakine benzer bir şey olabilir:

local function getControlScheme(player, racesCompleted)
    if racesCompleted > 0 then
        return "standardScheme"
    else
        -- Oyuncu yeni, deneye kaydedin
        local playerConfigSnapshot = ConfigService:GetConfigForPlayerAsync(player)
        if playerConfigSnapshot:GetValue("useNewControlScheme") then
            return "newScheme"
        else
            return "standardScheme"
        end
    end
end

Kontrol şemasının sonraki oturumlarda kalıcı olmasını istiyorsanız, büyük ihtimalle oyuncunun veri deposundaki kaydına bir değer eklemeniz gerekir.

Sonuçları görüntüleme ve yorumlama

Bir deney en az 24 saat çalıştıktan sonra, detayları ve sonuçları görmek için Görüntüle seçeneğine tıklayın.

Toplam kayıtlı oyuncu sayısını görebilir, ayrıca kontrol değerini ve her variantı alan oyuncu sayısını da görüntüleyebilirsiniz. Deneyin başında bu sayfayı görüntülemek, deneyin düzgün çalıştığından emin olmak için faydalıdır, harekete geçmek için değil. Harekete geçmeden önce En iyi uygulamalar bölümüne göz atın.

Deney tamamlandıktan sonra, Sonuçlar sekmesine göz atın. Hedef metriklerde istatistiksel olarak anlamlı değişiklikler arayın; bu değişiklikler, gösterge panelinde yeşil veya kırmızı ile vurgulanır. Bu değişiklikler, variantınızın etkisini gösterme olasılığı daha yüksek olup yanlış pozitif veya yanlış negatif olma olasılığı düşüktür.

Herhangi bir metrik üzerine geldiğinizde, Görünüm güveni butonunu göreceksiniz; bu buton güven aralığını gösterir.

Bir metrik, güven aralığı yüzde değişimi %0 ile örtüşmediğinde istatistiksel olarak anlamlıdır. Aşağıdaki örnekte, D1 devam etme oranı %17.4 artmış olup, alt ve üst sınırlar %8.02 ve %22.03'tür; bu da değişimin istatistiksel olarak anlamlı olduğunu gösterir.

Kolaylık sağlamak adına, sonuçlar sayfası, varsayılan konfigürasyon değerini deneyden bir variant ile değiştirme olanağı sunar. Karar ver seçeneğine tıklayarak bir variant seçebilir veya fikrinizi değiştirirseniz Kazananı değiştir seçeneğini kullanabilirsiniz. Daha sonra Konfigürasyonlar sayfasına geri döndüğünüzde, yeni değeri görebilirsiniz.

Deneyler için en iyi uygulamalar

• Minimum tespit edilebilir etkiyi (MDE) kullanın denemenizin değerli olup olmadığını belirlemek için.

  Roblox, hedef metrik ve her bir variant için oyuncu sayısını esas alarak, günlük aktif kullanıcılar, dağıtım yüzdesi, deney süresi ve variant bölmeleri ile MDE’yi hesaplar. Eğer MDE, hedef metrik için çok yüksekse (örneğin, %100’den fazla), istatistiksel anlamlılığa ulaşmanız olası değildir. 1,000'den az günlük aktif kullanıcıya sahip oyunlar, deneylerden faydalı veri elde etmede zorluk çekebilir.

  

• Bir hipotez ile başlayın. Değişkeni değiştirmek ve sonuçları kontrol etmek yerine, neyi değiştirdiğinize, ne beklediğinize ve nedenine dair bir sebep-sonuç ifadesi yazın. Daha fazla deney yaptıkça, yazılı hipotezler setinin sonuçlarınıza eşlik etmesi düşüncenizi netleştirebilir ve yeni deneyler için fikirlerinizi harekete geçirebilir.

• Deneylerin tam süreleri boyunca sürmesini sağlayın. Yenilik etkisi (bir değişikliğe olan geçici ilgi, daha iyi olduğu için değil, yeni olduğu için) erken sonuçları ağır bir şekilde çarpıtabilir; bazen istatistiksel anlamlılık sınırında dalgalanmalar yaratabilir. Deneyleri erken sona erdirmek, anomali zirvelerine dayanarak aceleci karar verme olasılığını arttırır; daha fazla veri, bu dalgalanmaları düzleştirmiş veya hatta çelişmiş olurdu.

• İstatistiksel anlamlılık olmadan harekete geçmeyin. Görünüşte büyük oyuncu davranış değişimleri, genellikle küçük örneklem büyüklüğünden dolayı istatistiksel olarak anlamlı olmayabilir. Eğer bir değişiklik istatistiksel olarak anlamlı değilse, göz ardı edin.

• Deneyler sırasında değişikliklerden kaçının. Büyük hataların elbette ki onarılması gerekir, ancak deney içeriğinde yapılan değişiklikler oyuncu davranışını etkileyebilir ve sonuçlarınızı geçersiz kılabilir; değişiklikler bağlantısız görünse bile. Benzer şekilde, yalnızca deneylerin birbiriyle etkileşimde bulunmayacağından eminseniz, aynı anda deney yapın.

• Metriklerin derinlemesine incelemesi için güven aralıklarını kullanın ve istatistiksel anlamlılık sınırında kalan durumları kontrol edin. Güven aralığı çok genişse, metrik asla istatistiksel anlamlılığa ulaşamayabilir.

• Eğer bir metrik önemli ölçüde yukarıda, başka bir metrik önemli ölçüde aşağıda ise, takasın değerli olup olmadığına karar vermek zorundasınız, muhtemelen diğer istatistiksel olarak anlamlı hareketlerle birlikte.

• Deneyler güçlü sinyaller sağlar, ancak istatistiksel anlamlılık olasılıklar üzerinde çalışır, kesinlikler üzerinde değil; bu yüzden güven aralığı. Veri değişkenliği, örneklem büyüklüğü ve değişimin büyüklüğü, bir variantın oyuncu davranışını etkileyip etkilemediğini tespit etme olasılığını etkiler. Deney sonuçlarına dayalı olarak aldığınız her eylem, oyuncu geri bildirimleri ve oyununuz için genel vizyonunuz gibi nitel verilerle dengelenmelidir.

• Bulgu ve kararlarınızı belgeleyin. Ek deneyler yapmasanız bile, bir bilgi ve kanıt birikimi oluşturmak oyunlarınızı nasıl tasarlayacağınızı bilgilendirebilir.