Esperimenti

Esperimenti ti consente di eseguire test A/B in-game e di matchmaking per misurare l'impatto causale delle modifiche al tuo gioco. Ad esempio, puoi mostrare esperienze di onboarding diverse ai diversi giocatori e misurare la differenza nel tempo di gioco, nella ritenzione e in altri indicatori chiave di prestazione.

Gli esperimenti sono eccellenti per misurare i seguenti aspetti:

• Coinvolgimento - Flussi di onboarding, sistemi di progressione, schemi di controllo, matchmaking personalizzato
• Monetizzazione - Visibilità dello shop ed esperienza utente, tipi di pacchetti di avviamento, prezzi

Crea esperimenti

Gli esperimenti si dividono in due tipi:

• Gli esperimenti In-game ti consentono di misurare l'impatto di diversi valori di configurazione.
• Gli esperimenti di matchmaking ti consentono di misurare l'impatto di diverse configurazioni di matchmaking personalizzato. A differenza degli esperimenti in-game, puoi eseguire solo un esperimento di matchmaking alla volta.

1. Se non hai già una configurazione, creane una per il tuo gioco.

2. Nella pagina Esperimenti del Creator Hub per il tuo gioco, fai clic su Crea esperimento.

3. Per Tipo, scegli In-experience.

4. Specifica un nome, un obiettivo metrico e una durata pianificata per l'esperimento. Gli esperimenti durano da 14 a 60 giorni.

   Indipendentemente da ciò che scegli come obiettivo metrico, gli esperimenti tracciano tutte le metriche nell'elenco.

5. Scegli una percentuale di distribuzione. Questo numero è la percentuale di giocatori che desideri includere nell'esperimento.

   In generale, più persone includi in un esperimento, migliori sono i dati, ma usa il tuo giudizio su ciò che è meglio per il tuo gioco.

   Fai attenzione all'effetto minimo rilevabile, che è il cambiamento più piccolo nella metrica selezionata che l'esperimento può rilevare in modo affidabile.

6. Specifica varianti e percentuali.

   Le varianti sono valori alternativi per la tua configurazione. Per una chiave di configurazione numerica bossHealth con un valore di controllo di 500, potresti specificare una variante di 300. Puoi avere fino a due varianti e un controllo in un esperimento.

   Le percentuali determinano come assegnare le varianti all'interno della distribuzione dell'esperimento. Considera il seguente esempio:

   • Scegli un rollout complessivo del 40%.
   • Specifica due varianti e una ripartizione 50/50 tra di esse e il controllo.

   In questo esempio, il 60% dei tuoi utenti è escluso dall'esperimento; questi utenti ricevono il controllo e non hanno impatto sui risultati dell'esperimento. Circa il 20% dei tuoi utenti riceve il controllo come parte dell'esperimento. Un altro 20% riceve la variante. A seconda del numero di giocatori, questa distribuzione potrebbe non essere abbastanza grande da fornire risultati utili.

   Quando hai dubbi, ti consigliamo esperimenti semplici 50/50 di una variante e un controllo su grandi distribuzioni. Gli esperimenti sono più facili da configurare e i risultati sono più facili da interpretare.

   

7. L'ultimo passo è la programmazione. Puoi avviare esperimenti immediatamente o programmarli per una data e un'ora successive. Dopo aver programmato un esperimento, non puoi modificare la sua configurazione (durata, percentuale di distribuzione, varianti, ecc.), ma puoi riprogrammarlo.

Metriche

Gli esperimenti tracciano tutte le seguenti metriche durante la durata dell'esperimento.

Stato dell'esperimento

La pagina Esperimenti mostra i seguenti stati per gli esperimenti.

Aggiungi esperimenti al tuo codice

L'applicazione degli esperimenti in-game è simile all'applicazione delle configurazioni. L'unica differenza è l'uso di ConfigService:GetConfigForPlayerAsync() invece di ConfigService:GetConfigAsync().

GetConfigForPlayerAsync() recupera un'istantanea specifica per il giocatore. Quando chiami GetValue(), l'istantanea verifica la presenza di un esperimento attivo e iscrive (o non iscrive) l'utente in base alla percentuale di distribuzione.

local ConfigService = game:GetService("ConfigService")
local Players = game:GetService("Players")

local function onPlayerAdded(player)
    local playerConfig = ConfigService:GetConfigForPlayerAsync(player)
    local leaderboardColor = playerConfig:GetValue("leaderboardColor")
end

Players.PlayerAdded:Connect(onPlayerAdded)

• Devi chiamare GetConfigForPlayerAsync() separatamente per ogni giocatore; GetConfigAsync() non applica esperimenti.

• Dopo aver chiamato GetValue() su un'istantanea specifica per il giocatore, il giocatore associato all'istantanea è iscritto all'esperimento per quella chiave e solo per quella chiave. Tutte le chiamate successive al metodo restituiscono lo stesso controllo o variante per la durata dell'esperimento. Solo la prima chiamata è casuale.

  Aspetta a chiamare GetValue() fino a quando ne hai bisogno. Chiamare GetValue() troppo presto può causare l'iscrizione di giocatori che non interagiscono mai con la parte del gioco su cui stai sperimentando.

• L'iscrizione agli esperimenti non è limitata ai nuovi utenti. Anche se un utente ha già ricevuto un valore da GetConfigAsync(), puoi comunque iscriverlo a un esperimento utilizzando un'istantanea specifica per il giocatore da GetConfigForPlayerAsync().

• Se una chiave in un'istantanea specifica per il giocatore non ha un esperimento attivo, GetValue() restituisce il valore di configurazione standard (o nil se non ha alcun valore).

Iscrizione mirata

Se desideri targetizzare una parte dei tuoi giocatori che soddisfano criteri specifici, devi scrivere codice aggiuntivo per controllare tali criteri e solo allora chiamare GetValue() per iscriverli all'esperimento. Considera il seguente esempio:

• Vuoi testare un nuovo schema di controllo nel tuo gioco.
• Non vuoi includere i giocatori esistenti (che presumibilmente sono abituati allo schema esistente), solo i nuovi giocatori.

Il tuo codice potrebbe assomigliare a questo:

local function getControlScheme(player, racesCompleted)
    if racesCompleted > 0 then
        return "standardScheme"
    else
        -- Il giocatore è nuovo, iscrivi all'esperimento
        local playerConfigSnapshot = ConfigService:GetConfigForPlayerAsync(player)
        if playerConfigSnapshot:GetValue("useNewControlScheme") then
            return "newScheme"
        else
            return "standardScheme"
        end
    end
end

Se desideri che lo schema di controllo persista nelle sessioni successive, probabilmente dovrai aggiungere un valore all'entrata del giocatore in un data store.

Visualizza e interpreta i risultati

Dopo che un esperimento è stato eseguito per almeno 24 ore, fai clic su Visualizza per vedere dettagli e risultati.

Puoi vedere il numero totale di giocatori iscritti, così come il numero di giocatori che hanno ricevuto il valore di controllo e ciascuna variante. Visualizzare questa pagina all'inizio dell'esperimento è utile solo per assicurarti che l'esperimento stia funzionando correttamente, non per agire. Prima di prendere in considerazione un'azione, consulta le Migliori pratiche.

Dopo che l'esperimento è completo, controlla la scheda Risultati. Cerca cambiamenti statisticamente significativi nei metriche obiettivo, che il dashboard evidenzia in verde o rosso. Questi cambiamenti sono più propensi a mostrare l'impatto della tua variante e meno propensi a essere falsi positivi o negativi.

Passa il mouse su qualsiasi metrica per vedere il pulsante Visualizza confidenza, che mostra l'intervallo di confidenza.

Una metrica è statisticamente significativa quando l'intervallo di confidenza per la sua variazione percentuale non sovrappone 0%. Nell'esempio seguente, la ritenzione D1 è aumentata del 17,4%, con limiti inferiori e superiori dell'8,02% e 22,03%, il che rende il cambiamento statisticamente significativo.

Per comodità, la pagina dei risultati ti consente di sostituire il valore di configurazione predefinito con una delle varianti dell'esperimento. Fai clic su Prendi decisione per scegliere una variante o su Cambia vincitore se cambi idea. Se poi torni alla pagina Configurazioni, dovresti vedere il nuovo valore.

Migliori pratiche per gli esperimenti

• Utilizza l'effetto minimo rilevabile (MDE) per decidere se il tuo esperimento vale la pena di essere eseguito.

  Roblox calcola l'MDE utilizzando il tuo obiettivo metrico e il numero di giocatori per variante, che si basa sugli utenti attivi giornalieri, sulla percentuale di distribuzione, sulla durata dell'esperimento e sulle ripartizioni delle varianti. Se l'MDE è troppo alto per il tuo obiettivo metrico (ad esempio, più del 100%), è improbabile che tu possa raggiungere significatività statistica. I giochi con meno di 1.000 utenti attivi giornalieri potrebbero avere difficoltà a ottenere dati utili dagli esperimenti.

  

• Inizia con un'ipotesi. Piuttosto che semplicemente cambiare una variabile e controllare i risultati, scrivi una dichiarazione causa-effetto su ciò che hai cambiato, cosa ti aspetti che accada e perché. Man mano che esperimenti sempre di più, avere un insieme di ipotesi scritte da affiancare ai tuoi risultati può aiutare a chiarire il tuo pensiero e stimolare nuove idee per esperimenti.

• Lascia correre gli esperimenti per la loro durata completa. L'effetto novità (interesse temporaneo per un cambiamento non perché sia migliore, ma perché è nuovo) può distorcere pesantemente i risultati iniziali, a volte facendoli oscillare in e fuori dalla significatività statistica. Chiudere gli esperimenti prematuramente aumenta le probabilità di agire prematuramente in base a picchi anomali che più dati avrebbero appianato o addirittura contraddetto.

• Non agire senza significatività statistica. Anche cambiamenti apparentemente significativi nel comportamento dei giocatori potrebbero non essere statisticamente significativi, generalmente a causa di un campione di piccole dimensioni. Se un cambiamento non è statisticamente significativo, ignoralo.

• Evita cambiamenti durante gli esperimenti. I bug principali ovviamente necessitano di correzioni, ma le modifiche ai contenuti dell'esperienza di gioco possono influenzare il comportamento dei giocatori e invalidare i tuoi risultati, anche se le modifiche sembrano non correlate al tuo esperimento. Allo stesso modo, esegui esperimenti simultaneamente solo se sei certo che non interagiranno tra loro.

• Usa gli intervalli di confidenza per approfondimenti sulle metriche e per controllare i casi borderline di significatività statistica. Se l'intervallo di confidenza è troppo ampio, la metrica potrebbe non raggiungere mai la significatività statistica.

• Se una metrica è significativamente aumentata e un'altra significativamente diminuita, devi decidere se il compromesso ne vale la pena, possibilmente in congiunzione con altri movimenti statisticamente significativi.

• Gli esperimenti forniscono segnali forti, ma la significatività statistica tratta probabilità, non certezze—da qui l'intervallo di confidenza. La variabilità dei dati, la dimensione del campione e l'ampiezza del cambiamento influiscono tutte sulla probabilità di rilevare se una variante ha influito sul comportamento dei giocatori. Qualsiasi azione tu prenda basata sui risultati di un esperimento dovrebbe essere bilanciata con dati qualitativi come il feedback dei giocatori e la tua visione generale per il gioco.

• Documenta le tue scoperte e decisioni. Anche se non le utilizzi per eseguire ulteriori esperimenti, avere un corpo di conoscenze e prove può informare il modo in cui progetti i tuoi giochi.