Esperimenti

Esperimenti ti consentono di eseguire test A/B in-game e di matchmaking per misurare l'impatto causale delle modifiche al tuo gioco. Ad esempio, puoi mostrare esperienze di onboarding diverse a giocatori diversi e misurare la differenza nel tempo di gioco, nella retention e in altri indicatori chiave di prestazione.

Gli esperimenti sono eccellenti per misurare quanto segue:

• Coinvolgimento - Flussi di onboarding, sistemi di progressione, schemi di controllo, matchmaking personalizzato
• Monetizzazione - Visibilità del negozio e esperienza utente, tipi di pacchetti di avvio, prezzi

Crea esperimenti

Gli esperimenti si dividono in due tipi:

• Gli esperimenti In-game ti consentono di misurare l'impatto di diversi valori di configurazione.
• Gli esperimenti di matchmaking ti consentono di misurare l'impatto di diverse configurazioni di matchmaking personalizzate. A differenza degli esperimenti in-game, puoi eseguire solo un esperimento di matchmaking alla volta.

1. Se non hai già una configurazione, creane una per il tuo gioco.

2. Nella pagina Esperimenti del Creator Hub per il tuo gioco, fai clic su Crea esperimento.

3. Per Tipo, scegli In-experience.

4. Specifica un nome, un obiettivo metrico e una durata pianificata per l'esperimento. Gli esperimenti durano tra i 14 e i 60 giorni.

   Indipendentemente da ciò che scegli come obiettivo metrico, gli esperimenti tracciano tutte le metriche nell'elenco.

5. Scegli una percentuale di distribuzione. Questo numero è la percentuale di giocatori che desideri includere nell'esperimento.

   In generale, più persone includi in un esperimento, migliori saranno i dati, ma usa il tuo giudizio su ciò che è meglio per il tuo gioco.

   Fai attenzione all'effetto minimo rilevabile, che è la più piccola modifica nella metrica selezionata che l'esperimento può rilevare in modo affidabile.

6. Specifica varianti e percentuali.

   Le varianti sono valori alternativi per la tua configurazione. Per una chiave di configurazione numerica bossHealth con un valore di controllo di 500, potresti specificare una variante di 300. Puoi avere fino a due varianti e un controllo in un esperimento.

   Le percentuali determinano come assegnare le varianti all'interno della distribuzione dell'esperimento. Considera il seguente esempio:

   • Scegli un rollout complessivo del 40%.
   • Specifica due varianti e una suddivisione 50/50 tra di esse e il controllo.

   In questo esempio, il 60% dei tuoi utenti è escluso dall'esperimento; questi utenti ricevono il controllo e non hanno impatto sui risultati dell'esperimento. Circa il 20% dei tuoi utenti riceve il controllo come parte dell'esperimento. Un altro 20% riceve la variante. A seconda del numero di giocatori, questa distribuzione potrebbe non essere abbastanza grande da fornire risultati utili.

   Quando hai dubbi, ti consigliamo esperimenti semplici 50/50 con una variante e un controllo su grandi distribuzioni. Gli esperimenti sono più facili da configurare e i risultati sono più facili da interpretare.

   

7. (Facoltativo) Targetizza l'esperimento a un pubblico specifico in modo che solo i giocatori corrispondenti siano idonei per l'iscrizione. Il targeting utilizza gli stessi attributi dei giocatori come le configurazioni condizionali, e puoi copiare condizioni esistenti direttamente dalle tue configurazioni. Per ulteriori informazioni, vedere Targetizza esperimenti a pubblici specifici.

   

8. L'ultimo passaggio è la programmazione. Puoi avviare gli esperimenti immediatamente o programmarli per una data e un'ora successive. Dopo aver programmato un esperimento, non puoi modificare la sua configurazione (durata, percentuale di distribuzione, varianti, ecc.), ma puoi riprogrammarlo.

Metriche

Gli esperimenti tracciano tutte le seguenti metriche durante la durata dell'esperimento. Queste metriche vengono aggiornate ogni 24 ore mentre l'esperimento è in corso. Tuttavia, durante le prime 24 ore del tuo esperimento, il tempo di gioco, il tasso di conversione dei pagatori e l'ARPU vengono aggiornati anche ogni 5 minuti in modo da poter rilevare rapidamente regressioni critiche (danno precoce).

Stato dell'esperimento

La pagina Esperimenti mostra i seguenti stati per gli esperimenti.

Targetizza esperimenti a pubblici specifici

Per impostazione predefinita, un esperimento in-game può iscrivere qualsiasi giocatore nella tua percentuale di distribuzione. Il targeting ti consente di eseguire l'esperimento su un pubblico specifico, come giocatori in determinati paesi, finestre di anzianità specifiche o livelli di spesa attiva. Il targeting utilizza gli stessi attributi del targeting delle configurazioni.

Configura esperimenti mirati

Configuri i criteri di targeting quando crei l'esperimento. Dopo che l'esperimento è iniziato, non puoi modificare le regole di targeting, il valore di controllo, le varianti o qualsiasi regola condizionale che la chiave di configurazione utilizza.

Puoi riutilizzare le regole condizionali esistenti dalle tue configurazioni per definire il tuo targeting, ma l'esperimento memorizza una copia indipendente di ciascuna regola. Modificare o eliminare la condizione di configurazione originale in seguito non avrà effetto sul targeting dell'esperimento.

Poiché restringere il tuo pubblico riduce la dimensione del campione, Roblox aggiorna l'effetto minimo rilevabile (MDE) utilizzando una stima del pubblico che corrisponde ai tuoi criteri di targeting. Assicurati che il tuo pubblico targetizzato sia abbastanza grande da produrre risultati statisticamente significativi.

Come Roblox risolve i valori targetizzati

Roblox valuta gli esperimenti prima, rispetto a qualsiasi regola delle configurazioni condizionali standard. Quando una chiave di configurazione ha un esperimento attivo, Roblox risolve il valore in questo ordine:

1. Il valore dell'esperimento attivo, se il giocatore è targetizzato e iscritto.
2. La prima condizione di configurazione corrispondente.
3. Qualsiasi condizione di configurazione corrispondente successiva.
4. Il valore predefinito.

I giocatori nel gruppo di controllo ricevono il valore prodotto dalle tue regole di configurazione esistenti. Non puoi eseguire più di un esperimento attivo sulla stessa chiave di configurazione alla volta.

Valutazione per sessione

Roblox valuta gli attributi di targeting per sessione, quindi l'idoneità di un singolo giocatore può cambiare nel tempo:

• Se un giocatore corrisponde ai tuoi criteri di targeting durante una sessione, può essere iscritto e ricevere una variante dell'esperimento.
• Se non corrisponde più in una sessione successiva, smette di ricevere il valore dell'esperimento e torna immediatamente alle tue regole di configurazione standard. Se il tuo esperimento ha bisogno di continuità oltre l'idoneità—ad esempio, un flusso di onboarding multi-sessione mirato a nuovi giocatori—conserva tu stesso il valore, ad esempio in un data store.

I dati di un giocatore rimangono attribuiti alla variante (o al controllo) a cui erano iscritti, anche se successivamente smettono di corrispondere ai criteri. Ad esempio, la retention D7 conta ancora un giocatore che si è iscritto il giorno 0 e se è tornato il giorno 7, anche se non è più qualificato entro il giorno 4.

Modifiche alla configurazione mentre un esperimento è in esecuzione

Per prevenire la deriva della configurazione e i dati dell'esperimento corrotti, Roblox blocca la chiave di configurazione nel momento in cui un esperimento inizia a essere eseguito:

• Non puoi modificare o eliminare la chiave di configurazione in esecuzione, né puoi modificare i suoi valori condizionali standard.
• Qualsiasi condizione globale a cui la configurazione attiva fa riferimento è anch'essa bloccata. Non puoi modificarle, eliminarle o riordinarle rispetto alle altre.

Il blocco viene rilasciato quando l'esperimento è completato.

Aggiungi esperimenti al tuo codice

Applicare esperimenti in-game è simile a applicare configurazioni. La principale differenza è l'uso di ConfigService:GetConfigForPlayerAsync() piuttosto che ConfigService:GetConfigAsync().

GetConfigForPlayerAsync() recupera uno snapshot specifico per il giocatore. Quando chiami GetValue(), lo snapshot verifica la presenza di un esperimento attivo e iscrive (o non iscrive) l'utente in base alla percentuale di distribuzione.

local ConfigService = game:GetService("ConfigService")
local Players = game:GetService("Players")

local function onPlayerAdded(player)
    local playerConfig = ConfigService:GetConfigForPlayerAsync(player)
    local leaderboardColor = playerConfig:GetValue("leaderboardColor")
end

Players.PlayerAdded:Connect(onPlayerAdded)

• Devi chiamare GetConfigForPlayerAsync() separatamente per ogni giocatore; GetConfigAsync() non applica esperimenti.

• Dopo aver chiamato GetValue() su uno snapshot specifico per il giocatore, il giocatore associato allo snapshot è iscritto all'esperimento per quella chiave e solo per quella chiave. Tutte le chiamate successive al metodo restituiscono lo stesso controllo o variante per la durata dell'esperimento. Solo la prima chiamata è casuale.

  Aspetta a chiamare GetValue() fino a quando ne hai bisogno. Chiamare GetValue() troppo presto può causare l'iscrizione di giocatori che non interagiscono mai con la parte del gioco su cui stai sperimentando.

• L'iscrizione agli esperimenti non è limitata ai nuovi utenti. Anche se un utente ha precedentemente ricevuto un valore da GetConfigAsync(), puoi comunque iscriverlo a un esperimento utilizzando uno snapshot specifico per il giocatore da GetConfigForPlayerAsync().

• Se una chiave in uno snapshot specifico per il giocatore non ha un esperimento attivo, GetValue() restituisce il valore di configurazione standard (o nil se non ha valore).

Iscrizione personalizzata

Se desideri iscrivere solo i giocatori che soddisfano criteri basati sullo stato in-game, devi scrivere codice aggiuntivo per controllare tali criteri e solo allora chiamare GetValue() per iscriverli all'esperimento. Considera il seguente esempio:

• Vuoi testare un nuovo schema di controllo nel tuo gioco di corse.
• Lo schema è per giocatori avanzati, quindi vuoi targetizzare i giocatori che hanno vinto un gran numero di gare.

Il tuo codice potrebbe assomigliare a questo:

local function getControlScheme(player, racesWon)
    if racesWon < 20 then
        return "standardScheme"
    else
        -- Il giocatore ha molte vittorie, iscrivi all'esperimento
        local playerConfigSnapshot = ConfigService:GetConfigForPlayerAsync(player)
        if playerConfigSnapshot:GetValue("useNewControlScheme") then
            return "newScheme"
        else
            return "standardScheme"
        end
    end
end

Se desideri che lo schema di controllo persista nelle sessioni successive, probabilmente dovrai aggiungere un valore all'entry del giocatore in un data store.

Visualizza e interpreta i risultati

Fai clic su Visualizza per vedere dettagli e risultati. Nella scheda Dettagli e progresso puoi vedere il numero totale di giocatori iscritti, così come il numero di giocatori che hanno ricevuto il valore di controllo e ciascuna variante. Visualizzare questa pagina all'inizio dell'esperimento è utile esclusivamente per assicurarti che l'esperimento stia funzionando correttamente, non per prendere decisioni. Prima di prendere decisioni, vedere Migliori pratiche.

Metriche di danno precoce

Per le prime 24 ore, o fino a quando non arrivano i primi risultati giornalieri, le metriche di danno precoce metriche vengono aggiornate ogni 5 minuti in modo da poter rilevare rapidamente danni critici non intenzionali. Fai clic su Metriche per vedere questi risultati. Cerca metriche che danneggiano criticamente evidenziate in rosso.

Passa il mouse su una metrica e fai clic su Visualizza confidenza per vedere l'intervallo di confidenza.

Durante questa finestra, i risultati testano solo il danno, quindi l'intervallo di confidenza non ha un limite inferiore, solo un limite superiore. Una metrica è contrassegnata come criticamente dannosa solo se l'intero intervallo di confidenza è al di sotto della soglia di danno critico. Nel seguente esempio, il tempo di gioco è a -12,67% con un limite superiore di -2,73%. Anche se la stima è inferiore alla soglia di danno critico di -10% e l'intero intervallo di confidenza è al di sotto di 0%, la metrica non è classificata come criticamente dannosa perché l'intervallo non è completamente al di sotto della soglia di danno.

Usa questi risultati solo per guidare le decisioni di arresto precoce nelle prime 24 ore. Non usarli per decisioni di lancio, fai affidamento sui risultati giornalieri invece.

Soglie di danno precoce

Ogni metrica ha la propria soglia di danno precoce. Se l'aumento di una variante scende al di sotto di questa soglia, sarà classificato come criticamente dannoso per quella metrica. Tuttavia, per i confronti di varianti metriche con meno di 10.000 giocatori iscritti tra la variante e il controllo, gli aumenti delle varianti vengono mostrati ma le decisioni sul danno non verranno prese fino a quando la dimensione del campione non fornisca dati sufficienti per rilevare il danno in modo affidabile.

Notifiche di danno precoce

Se viene rilevato un danno critico nel tuo esperimento durante il periodo di analisi del danno precoce, una notifica viene inviata al proprietario del gioco e al proprietario dell'esperimento per un'azione precoce. Le notifiche vengono inviate via email, nella tray di notifiche del Creator Hub e tramite un webhook opzionale. Dopo aver ricevuto una notifica di danno precoce, dovresti rivedere le metriche dell'esperimento e decidere se l'esperimento dovrebbe essere interrotto anticipatamente.

Risultati giornalieri

Dopo che un esperimento è stato eseguito per almeno 24 ore, fai clic su Risultati per vedere gli ultimi risultati, che si aggiornano ogni 24 ore. Cerca cambiamenti statisticamente significativi nelle metriche obiettivo, che il dashboard evidenzia in verde o rosso. Questi cambiamenti sono più probabili di mostrare l'impatto della tua variante e meno probabili di essere falsi positivi o negativi.

Una metrica è statisticamente significativa quando l'intervallo di confidenza per la sua variazione percentuale non si sovrappone a 0%. Nel seguente esempio, l'ARPU è aumentato del 2,37%, con limiti inferiori e superiori del 0,55% e del 4,19%, il che rende il cambiamento statisticamente significativo.

Per comodità, la pagina dei risultati ti consente di sostituire il valore di configurazione predefinito con una delle varianti dell'esperimento.

Discrepanza nel rapporto del campione

Se il tuo esperimento non riesce a iscrivere gli utenti nelle varianti nelle proporzioni attese, apparirà un banner di avviso per Discrepanza nel Rapporto del Campione (SRM) nella scheda dei risultati dell'esperimento. Se viene rilevata SRM, è consigliabile interrompere e riavviare il tuo esperimento.

La SRM viene controllata ogni 5 minuti per le prime 24 ore del tuo esperimento e poi quotidianamente dopo. La SRM può invalidare i risultati dell'esperimento; non prendere decisioni di lancio basate su risultati compromessi e inaffidabili.

Prendi una decisione

Quando il tuo esperimento si conclude, fai clic su Prendi decisione per avviare un rollout guidato. Roblox mostra eventuali avvisi sulla significatività statistica e sulla durata dell'esperimento, quindi ti invita a selezionare una variante vincente o mantenere il controllo. In base alla tua scelta, Roblox distribuisce la modifica appropriata alle tue configurazioni permanenti; tornando alla pagina Configurazioni mostra il nuovo valore. Fai clic su Cambia vincitore se cambi idea.

Se hai modifiche in sospeso non risolte sulla configurazione quando completi l'esperimento, Roblox le conserva temporaneamente e le ripristina su base di miglior sforzo dopo il rollout.

La tua decisione determina le modifiche alla configurazione che Roblox propone:

• Controllo: Roblox non apporta modifiche alle tue configurazioni esistenti.

• Variante non targetizzata: Il valore della variante diventa il nuovo valore predefinito della configurazione. Roblox rimuove tutte le altre condizioni su quella chiave di configurazione, anche se rimangono nella tua lista di condizioni globali.

• Variante targetizzata: Roblox integra la regola vincente di nuovo nella tua configurazione permanente utilizzando la prima opzione applicabile in questo ordine di priorità:

  1. Sovrascrivi: Se una condizione identica si trova già in cima alla configurazione, Roblox sovrascrive il suo valore con il valore della variante vincente.
  2. Aggiungi esistente: Se esiste una condizione globale corrispondente e si troverebbe naturalmente in cima, Roblox la aggiunge alla configurazione con il valore della variante.
  3. Promuovi: Se una condizione globale corrispondente può essere promossa in modo sicuro al rango più basso necessario per renderla la regola principale in questa configurazione (senza alterare altre configurazioni), Roblox la aggiunge alla configurazione e la riordina globalmente.
  4. Crea nuova: Altrimenti, Roblox crea una nuova condizione globale classificata un livello sopra la condizione più alta attualmente utilizzata nella configurazione. Se questo crea una regola duplicata all'interno della configurazione, Roblox rimuove il valore condizionale ridondante mantenendo la regola globale.

Migliori pratiche per esperimenti

• Utilizza l'effetto minimo rilevabile (MDE) per decidere se il tuo esperimento vale la pena di essere eseguito.

  Roblox calcola l'MDE utilizzando il tuo obiettivo metrico e il numero di giocatori per variante, che si basa su utenti attivi giornalieri, percentuale di distribuzione, durata dell'esperimento e suddivisioni delle varianti. Se l'MDE è troppo alto per il tuo obiettivo metrico (ad esempio, più del 100%), è improbabile che tu possa raggiungere una significatività statistica. I giochi con meno di 1.000 utenti attivi giornalieri potrebbero avere difficoltà a ottenere dati utili dagli esperimenti.

  

• Inizia con un'ipotesi. Piuttosto che semplicemente cambiare una variabile e controllare i risultati, scrivi una dichiarazione di causa ed effetto su ciò che hai cambiato, cosa ti aspetti che accada e perché. Man mano che sperimenti sempre di più, avere un insieme di ipotesi scritte da accompagnare ai tuoi risultati può aiutare a chiarire il tuo pensiero e stimolare nuove idee per esperimenti.

• Lascia che gli esperimenti durino per la loro intera durata. L'effetto novità (interesse temporaneo per un cambiamento non perché sia migliore, ma perché è nuovo) può distorcere pesantemente i risultati iniziali, a volte facendoli oscillare dentro e fuori dalla significatività statistica. Terminare gli esperimenti in anticipo aumenta le probabilità che tu prenda azioni premature basate su picchi anomali che più dati avrebbero smussato o persino contraddetto.

  • L'eccezione è il danno precoce nelle prime 24 ore: se le metriche sono contrassegnate come criticamente dannose o vedi una discrepanza nel rapporto del campione, rivedi e considera di fermarti. Non utilizzare i risultati di danno precoce per decisioni di lancio.

• Non agire senza significatività statistica. Anche cambiamenti apparentemente grandi nel comportamento dei giocatori potrebbero non essere statisticamente significativi, generalmente a causa di una piccola dimensione del campione. Se un cambiamento non è statisticamente significativo, ignoralo.

• Evita modifiche durante gli esperimenti. I bug maggiori devono ovviamente essere corretti, ma le modifiche al contenuto del gioco possono influenzare il comportamento dei giocatori e invalidare i tuoi risultati, anche se le modifiche sembrano non correlate al tuo esperimento. Allo stesso modo, esegui esperimenti simultaneamente solo se sei sicuro che non interagiranno tra loro.

• Utilizza intervalli di confidenza per approfondire le metriche e controllare i casi borderline di significatività statistica. Se l'intervallo di confidenza è troppo ampio, la metrica potrebbe non raggiungere mai la significatività statistica.

• Se una metrica è significativamente aumentata e un'altra significativamente diminuita, devi decidere se il compromesso ne vale la pena, possibilmente in congiunzione con altri movimenti statisticamente significativi.

• Gli esperimenti forniscono un forte segnale, ma la significatività statistica tratta probabilità, non certezze—da qui l'intervallo di confidenza. La variabilità dei dati, la dimensione del campione e l'entità del cambiamento influenzano tutti la probabilità di rilevare se una variante ha influenzato il comportamento dei giocatori. Qualsiasi azione tu prenda basata sui risultati di un esperimento dovrebbe essere bilanciata con dati qualitativi come il feedback dei giocatori e la tua visione complessiva per il gioco.

• Documenta le tue scoperte e decisioni. Anche se non le utilizzi per eseguire esperimenti aggiuntivi, avere un corpo di conoscenze e prove può informare su come progetti i tuoi giochi.