Esperimenti

Esperimenti ti consentono di eseguire test A/B in-game e di matchmaking per misurare l'impatto causale delle modifiche al tuo gioco. Ad esempio, puoi mostrare esperienze di onboarding diverse a giocatori diversi e misurare la differenza nel tempo di gioco, nella retention e in altri indicatori chiave di prestazione.

Gli esperimenti sono eccellenti per misurare i seguenti aspetti:

• Coinvolgimento - Flussi di onboarding, sistemi di progressione, schemi di controllo, matchmaking personalizzato
• Monetizzazione - Visibilità del negozio e esperienza utente, tipi di pacchetti di avvio, prezzi

Crea esperimenti

Gli esperimenti si dividono in due tipi:

• Gli esperimenti In-game ti consentono di misurare l'impatto di diversi valori di configurazione.
• Gli esperimenti di matchmaking ti consentono di misurare l'impatto di diverse configurazioni di matchmaking personalizzate. A differenza degli esperimenti in-game, puoi eseguire solo un esperimento di matchmaking alla volta.

1. Se non hai già una configurazione, creane una per il tuo gioco.

2. Nella pagina Esperimenti del Creator Hub per il tuo gioco, fai clic su Crea esperimento.

3. Per Tipo, scegli In-experience.

4. Specifica un nome, un obiettivo metrico e una durata pianificata per l'esperimento. Gli esperimenti durano tra 14 e 60 giorni.

   Indipendentemente da ciò che scegli come obiettivo metrico, gli esperimenti tracciano tutte le metriche nell'elenco.

5. Scegli una percentuale di distribuzione. Questo numero è la percentuale di giocatori che desideri includere nell'esperimento.

   In generale, più persone includi in un esperimento, migliori saranno i dati, ma usa il tuo giudizio su ciò che è meglio per il tuo gioco.

   Fai attenzione all'effetto minimo rilevabile, che è la più piccola modifica nella metrica selezionata che l'esperimento può rilevare in modo affidabile.

6. Specifica varianti e percentuali.

   Le varianti sono valori alternativi per la tua configurazione. Per una chiave di configurazione numerica bossHealth con un valore di controllo di 500, potresti specificare una variante di 300. Puoi avere fino a due varianti e un controllo in un esperimento.

   Le percentuali determinano come assegnare le varianti all'interno della distribuzione dell'esperimento. Considera il seguente esempio:

   • Scegli una distribuzione complessiva del 40%.
   • Specifica due varianti e una suddivisione 50/50 tra di esse e il controllo.

   In questo esempio, il 60% dei tuoi utenti è escluso dall'esperimento; questi utenti ricevono il controllo e non hanno impatto sui risultati dell'esperimento. Circa il 20% dei tuoi utenti riceve il controllo come parte dell'esperimento. Un altro 20% riceve la variante. A seconda del numero di giocatori, questa distribuzione potrebbe non essere abbastanza grande da fornire risultati utili.

   Quando hai dubbi, ti consigliamo esperimenti semplici 50/50 con una variante e un controllo su distribuzioni ampie. Gli esperimenti sono più facili da configurare e i risultati sono più facili da interpretare.

   

7. (Facoltativo) Targetizza l'esperimento a un pubblico specifico in modo che solo i giocatori corrispondenti siano idonei per l'iscrizione. Il targeting utilizza gli stessi attributi dei giocatori come le configurazioni condizionali, e puoi copiare condizioni esistenti direttamente dalle tue configurazioni. Per ulteriori informazioni, consulta Targetizza esperimenti a pubblici specifici.

   

8. L'ultimo passaggio è la programmazione. Puoi avviare gli esperimenti immediatamente o programmarli per una data e un'ora future. Dopo aver programmato un esperimento, non puoi modificare la sua configurazione (durata, percentuale di distribuzione, varianti, ecc.), ma puoi riprogrammarlo.

Metriche

Gli esperimenti tracciano tutte le seguenti metriche durante la durata dell'esperimento.

Stato dell'esperimento

La pagina Esperimenti mostra i seguenti stati per gli esperimenti.

Targetizza esperimenti a pubblici specifici

Per impostazione predefinita, un esperimento in-game può iscrivere qualsiasi giocatore nella tua percentuale di distribuzione. Il targeting ti consente di eseguire l'esperimento su un pubblico specifico, come giocatori in determinati paesi, finestre di anzianità specifiche o livelli di spesa attivi. Il targeting utilizza gli stessi attributi del targeting delle configurazioni.

Configura esperimenti mirati

Configuri i criteri di targeting quando crei l'esperimento. Dopo che l'esperimento è iniziato, non puoi modificare le regole di targeting, il valore di controllo, le varianti o qualsiasi regola condizionale che la chiave di configurazione utilizza.

Puoi riutilizzare le regole condizionali esistenti dalle tue configurazioni per definire il tuo targeting, ma l'esperimento memorizza una copia indipendente di ciascuna regola. Modificare o eliminare la condizione di configurazione originale in seguito non ha effetto sul targeting dell'esperimento.

Poiché restringere il tuo pubblico riduce la dimensione del campione, Roblox aggiorna l'effetto minimo rilevabile (MDE) utilizzando una stima del pubblico che corrisponde ai tuoi criteri di targeting. Assicurati che il tuo pubblico target sia abbastanza grande da produrre risultati statisticamente significativi.

Come Roblox risolve i valori mirati

Roblox valuta gli esperimenti prima, rispetto a qualsiasi regola delle configurazioni condizionali standard. Quando una chiave di configurazione ha un esperimento attivo, Roblox risolve il valore in questo ordine:

1. Il valore dell'esperimento attivo, se il giocatore è mirato e iscritto.
2. La prima condizione di configurazione corrispondente.
3. Qualsiasi condizione di configurazione corrispondente successiva.
4. Il valore predefinito.

I giocatori nel gruppo di controllo ricevono il valore prodotto dalle tue regole di configurazione esistenti. Non puoi eseguire più di un esperimento attivo sulla stessa chiave di configurazione alla volta.

Valutazione per sessione

Roblox valuta gli attributi di targeting per sessione, quindi l'idoneità di un singolo giocatore può cambiare nel tempo:

• Se un giocatore corrisponde ai tuoi criteri di targeting durante una sessione, può essere iscritto e ricevere una variante dell'esperimento.
• Se non corrisponde più in una sessione successiva, smette di ricevere il valore dell'esperimento e torna immediatamente alle tue regole di configurazione standard. Se il tuo esperimento ha bisogno di continuità oltre l'idoneità—ad esempio, un flusso di onboarding multi-sessione mirato a nuovi giocatori—conserva il valore tu stesso, ad esempio in un data store.

I dati di un giocatore rimangono attribuiti alla variante (o al controllo) a cui erano iscritti, anche se successivamente smettono di corrispondere ai criteri. Ad esempio, la retention D7 conta ancora un giocatore che si è iscritto il giorno 0 e se è tornato il giorno 7, anche se non è più qualificato entro il giorno 4.

Modifiche alla configurazione mentre un esperimento è in esecuzione

Per prevenire la deriva della configurazione e i dati dell'esperimento corrotti, Roblox blocca la chiave di configurazione nel momento in cui un esperimento inizia a essere eseguito:

• Non puoi modificare o eliminare la chiave di configurazione in esecuzione, né puoi modificare i suoi valori condizionali standard.
• Qualsiasi condizione globale a cui la configurazione attiva fa riferimento è anch'essa bloccata. Non puoi modificarle, eliminarle o riordinarle rispetto alle altre.

Il blocco viene rilasciato quando l'esperimento è completato.

Aggiungi esperimenti al tuo codice

Applicare esperimenti in-game è simile a applicare configurazioni. La principale differenza è l'uso di ConfigService:GetConfigForPlayerAsync() piuttosto che ConfigService:GetConfigAsync().

GetConfigForPlayerAsync() recupera uno snapshot specifico per il giocatore. Quando chiami GetValue(), lo snapshot controlla se c'è un esperimento attivo e iscrive (o non iscrive) l'utente in base alla percentuale di distribuzione.

local ConfigService = game:GetService("ConfigService")
local Players = game:GetService("Players")

local function onPlayerAdded(player)
    local playerConfig = ConfigService:GetConfigForPlayerAsync(player)
    local leaderboardColor = playerConfig:GetValue("leaderboardColor")
end

Players.PlayerAdded:Connect(onPlayerAdded)

• Devi chiamare GetConfigForPlayerAsync() separatamente per ogni giocatore; GetConfigAsync() non applica esperimenti.

• Dopo aver chiamato GetValue() su uno snapshot specifico per il giocatore, il giocatore associato allo snapshot è iscritto all'esperimento per quella chiave e solo per quella chiave. Tutte le chiamate successive al metodo restituiscono lo stesso controllo o variante per la durata dell'esperimento. Solo la prima chiamata è casuale.

  Aspetta a chiamare GetValue() fino a quando non ne hai bisogno. Chiamare GetValue() troppo presto può causare l'iscrizione di giocatori che non interagiscono mai con la parte del gioco su cui stai sperimentando.

• L'iscrizione agli esperimenti non è limitata ai nuovi utenti. Anche se un utente ha precedentemente ricevuto un valore da GetConfigAsync(), puoi comunque iscriverlo a un esperimento utilizzando uno snapshot specifico per il giocatore da GetConfigForPlayerAsync().

• Se una chiave in uno snapshot specifico per il giocatore non ha un esperimento attivo, GetValue() restituisce il valore di configurazione standard (o nil se non ha valore).

Iscrizione personalizzata

Se desideri iscrivere solo i giocatori che soddisfano criteri basati sullo stato in-game, devi scrivere codice aggiuntivo per controllare tali criteri e solo allora chiamare GetValue() per iscriverli all'esperimento. Considera il seguente esempio:

• Vuoi testare un nuovo schema di controllo nel tuo gioco di corse.
• Lo schema è per giocatori avanzati, quindi vuoi targetizzare i giocatori che hanno vinto un gran numero di gare.

Il tuo codice potrebbe apparire in questo modo:

local function getControlScheme(player, racesWon)
    if racesWon < 20 then
        return "standardScheme"
    else
        -- Il giocatore ha molte vittorie, iscrivi all'esperimento
        local playerConfigSnapshot = ConfigService:GetConfigForPlayerAsync(player)
        if playerConfigSnapshot:GetValue("useNewControlScheme") then
            return "newScheme"
        else
            return "standardScheme"
        end
    end
end

Se desideri che lo schema di controllo persista nelle sessioni successive, probabilmente dovrai aggiungere un valore all'entry del giocatore in un data store.

Visualizza e interpreta i risultati

Dopo che un esperimento è stato eseguito per almeno 24 ore, fai clic su Visualizza per vedere dettagli e risultati.

Puoi vedere il numero totale di giocatori iscritti, così come il numero di giocatori che hanno ricevuto il valore di controllo e ciascuna variante. Visualizzare questa pagina all'inizio dell'esperimento è utile solo per assicurarti che l'esperimento stia funzionando correttamente, non per intraprendere azioni. Prima di intraprendere azioni, consulta Migliori pratiche.

Dopo che l'esperimento è completato, controlla la scheda Risultati. Cerca cambiamenti statisticamente significativi negli obiettivi metrici, che il dashboard evidenzia in verde o rosso. Questi cambiamenti sono più propensi a mostrare l'impatto della tua variante e meno propensi a essere falsi positivi o negativi.

Passa il mouse su qualsiasi metrica per vedere il pulsante Visualizza confidenza, che mostra l'intervallo di confidenza.

Una metrica è statisticamente significativa quando l'intervallo di confidenza per la sua variazione percentuale non si sovrappone con 0%. Nel seguente esempio, la retention D1 è aumentata del 17,4%, con limiti inferiori e superiori dell'8,02% e del 22,03%, il che rende il cambiamento statisticamente significativo.

Per comodità, la pagina dei risultati ti consente di sostituire il valore di configurazione predefinito con uno delle varianti dell'esperimento.

Prendi una decisione

Quando il tuo esperimento si conclude, fai clic su Prendi decisione per avviare un rollout guidato. Roblox mostra eventuali avvisi riguardanti la significatività statistica e la durata dell'esperimento, quindi ti invita a selezionare una variante vincente o mantenere il controllo. In base alla tua scelta, Roblox distribuisce la modifica appropriata alle tue configurazioni permanenti; tornando alla pagina Configurazioni vedrai il nuovo valore. Fai clic su Cambia vincitore se cambi idea.

Se hai modifiche in sospeso non risolte sulla configurazione quando completi l'esperimento, Roblox le conserva temporaneamente e le ripristina su base di miglior sforzo dopo il rollout.

La tua decisione determina le modifiche alla configurazione che Roblox propone:

• Controllo: Roblox non apporta modifiche alle tue configurazioni esistenti.

• Variante non mirata: Il valore della variante diventa il nuovo valore predefinito della configurazione. Roblox rimuove tutte le altre condizioni su quella chiave di configurazione, anche se rimangono nella tua lista di condizioni globali.

• Variante mirata: Roblox integra la regola vincente nella tua configurazione permanente utilizzando la prima opzione applicabile in questo ordine di priorità:

  1. Sovrascrivi: Se una condizione identica si trova già in cima alla configurazione, Roblox sovrascrive il suo valore con il valore della variante vincente.
  2. Aggiungi esistente: Se esiste una condizione globale corrispondente e si troverebbe naturalmente in cima, Roblox la aggiunge alla configurazione con il valore della variante.
  3. Promuovi: Se una condizione globale corrispondente può essere promossa in modo sicuro al rango più basso necessario per renderla la regola principale in questa configurazione (senza alterare altre configurazioni), Roblox la aggiunge alla configurazione e la riordina globalmente.
  4. Crea nuova: Altrimenti, Roblox crea una nuova condizione globale classificata un livello sopra la condizione più alta attualmente utilizzata nella configurazione. Se questo crea una regola duplicata all'interno della configurazione, Roblox rimuove il valore condizionale ridondante preservando la regola globale.

Migliori pratiche per gli esperimenti

• Utilizza l'effetto minimo rilevabile (MDE) per decidere se il tuo esperimento vale la pena di essere eseguito.

  Roblox calcola l'MDE utilizzando il tuo obiettivo metrico e il numero di giocatori per variante, che si basa su utenti attivi giornalieri, percentuale di distribuzione, durata dell'esperimento e suddivisioni delle varianti. Se l'MDE è troppo alto per il tuo obiettivo metrico (ad esempio, più del 100%), è improbabile che tu possa raggiungere la significatività statistica. I giochi con meno di 1.000 utenti attivi giornalieri potrebbero avere difficoltà a ottenere dati utili dagli esperimenti.

  

• Inizia con un'ipotesi. Piuttosto che semplicemente cambiare una variabile e controllare i risultati, scrivi una dichiarazione di causa ed effetto su ciò che hai cambiato, cosa ti aspetti che accada e perché. Man mano che sperimenti sempre di più, avere un insieme di ipotesi scritte da accompagnare ai tuoi risultati può aiutare a chiarire il tuo pensiero e stimolare nuove idee per esperimenti.

• Lascia che gli esperimenti durino per la loro intera durata. L'effetto novità (interesse temporaneo per un cambiamento non perché sia migliore, ma perché è nuovo) può distorcere pesantemente i risultati iniziali, a volte facendoli oscillare dentro e fuori dalla significatività statistica. Terminare gli esperimenti in anticipo aumenta le probabilità di intraprendere azioni premature basate su picchi anomali che più dati avrebbero smussato o persino contraddetto.

• Non agire senza significatività statistica. Anche cambiamenti apparentemente grandi nel comportamento dei giocatori potrebbero non essere statisticamente significativi, generalmente a causa della piccola dimensione del campione. Se un cambiamento non è statisticamente significativo, ignoralo.

• Evita cambiamenti durante gli esperimenti. I bug maggiori ovviamente necessitano di correzioni, ma le modifiche al contenuto del gioco possono influenzare il comportamento dei giocatori e invalidare i tuoi risultati, anche se le modifiche sembrano non correlate al tuo esperimento. Allo stesso modo, esegui esperimenti simultaneamente solo se sei sicuro che non interagiranno tra loro.

• Utilizza intervalli di confidenza per approfondire le metriche e controllare i casi borderline di significatività statistica. Se l'intervallo di confidenza è troppo ampio, la metrica potrebbe non raggiungere mai la significatività statistica.

• Se una metrica è significativamente aumentata e un'altra è significativamente diminuita, devi decidere se il compromesso ne vale la pena, possibilmente in congiunzione con altri movimenti statisticamente significativi.

• Gli esperimenti forniscono un forte segnale, ma la significatività statistica tratta probabilità, non certezze—da qui l'intervallo di confidenza. La variabilità dei dati, la dimensione del campione e l'entità del cambiamento influenzano tutti la probabilità di rilevare se una variante ha influenzato il comportamento dei giocatori. Qualsiasi azione tu intraprenda basata sui risultati di un esperimento dovrebbe essere bilanciata con dati qualitativi come il feedback dei giocatori e la tua visione complessiva per il gioco.

• Documenta le tue scoperte e decisioni. Anche se non le utilizzi per eseguire esperimenti aggiuntivi, avere un corpo di conoscenze e prove può informare su come progetti i tuoi giochi.