Esperimenti ti consentono di eseguire test A/B in-game e di matchmaking per misurare l'impatto causale delle modifiche al tuo gioco. Ad esempio, puoi mostrare diverse esperienze di onboarding a diversi giocatori e misurare la differenza nel tempo di gioco, nella retention e in altri indicatori chiave di prestazione.
Gli esperimenti sono eccellenti per misurare i seguenti aspetti:
- Coinvolgimento - Flussi di onboarding, sistemi di progressione, schemi di controllo, matchmaking personalizzato
- Monetizzazione - Visibilità del negozio e esperienza utente, tipi di pacchetti iniziali, prezzi

Crea esperimenti
Gli esperimenti si dividono in due tipi:
- Gli esperimenti In-game ti consentono di misurare l'impatto di diversi valori di configurazione.
- Gli esperimenti di matchmaking ti consentono di misurare l'impatto di diverse configurazioni di matchmaking personalizzate. A differenza degli esperimenti in-game, puoi eseguire solo un esperimento di matchmaking alla volta.
Se non hai già una configurazione, creane una per il tuo gioco.
Nella pagina Esperimenti del Creator Hub per il tuo gioco, fai clic su Crea esperimento.
Per Tipo, scegli In-experience.
Specifica un nome per l'esperimento.
Per Set di metriche, scegli il set di metriche che desideri che l'esperimento tracci:
Set di metriche Cosa traccia Predefinito Metriche standard di prestazione e coinvolgimento metriche come ARPU, tempo di sessione e retention dei nuovi utenti. Guadagni da video premiati Metriche per video pubblicitari premiati: tasso di opt-in, frequenza, impressioni, guadagni pubblicitari e guadagni totali per utente, oltre a metriche predefinite di coinvolgimento, retention e monetizzazione. Personalizzato Le metriche predefinite più fino a tre metriche personalizzate che definisci dai tuoi eventi personalizzati, economici e funnel. 
Specifica una metrica obiettivo e una durata pianificata per l'esperimento. Gli esperimenti durano tra 14 e 60 giorni.
Indipendentemente da ciò che scegli come metrica obiettivo, gli esperimenti tracciano tutte le metriche nel set di metriche. Se scegli il set di metriche Guadagni da video premiati, Roblox imposta le metriche obiettivo per te, quindi devi solo specificare la durata.
Scegli una percentuale di distribuzione. Questo numero è la percentuale di giocatori che desideri includere nell'esperimento.
In generale, più persone includi in un esperimento, migliori saranno i dati, ma usa il tuo giudizio su ciò che è meglio per il tuo gioco.
Specifica varianti e percentuali.
Le varianti sono valori alternativi per la tua configurazione. Per una chiave di configurazione numerica bossHealth con un valore di controllo di 500, potresti specificare una variante di 300. Puoi avere fino a due varianti e un controllo in un esperimento.
Le percentuali determinano come assegnare le varianti all'interno della distribuzione dell'esperimento. Considera il seguente esempio:
- Scegli un rollout complessivo del 40%.
- Specifica due varianti e una suddivisione 50/50 tra di esse e il controllo.
In questo esempio, il 60% dei tuoi utenti è escluso dall'esperimento; questi utenti ricevono il controllo e non hanno impatto sui risultati dell'esperimento. Circa il 20% dei tuoi utenti riceve il controllo come parte dell'esperimento. Un altro 20% riceve la variante. A seconda del numero di giocatori, questa distribuzione potrebbe non essere abbastanza grande da fornire risultati utili.

(Facoltativo) Targetizza l'esperimento a un pubblico specifico in modo che solo i giocatori corrispondenti siano idonei per l'iscrizione. Il targeting utilizza gli stessi attributi dei giocatori come configurazioni condizionali, e puoi copiare condizioni esistenti direttamente dalle tue configurazioni. Per ulteriori informazioni, vedere Targetizza esperimenti a pubblici specifici.

L'ultimo passaggio è la programmazione. Puoi avviare gli esperimenti immediatamente o programmarli per una data e un'ora successive. Dopo aver programmato un esperimento, non puoi modificare la sua configurazione (durata, percentuale di distribuzione, varianti, ecc.), ma puoi riprogrammarlo.
Metriche
Gli esperimenti tracciano tutte le seguenti metriche durante la durata dell'esperimento. Queste metriche vengono aggiornate ogni 24 ore mentre l'esperimento è in corso. Tuttavia, durante le prime 24 ore del tuo esperimento, il tempo di gioco, il tasso di conversione dei pagatori e l'ARPU vengono aggiornati anche ogni 5 minuti in modo da poter rilevare rapidamente regressioni critiche (danno precoce).
| Metrica | Descrizione | Danno precoce? |
|---|---|---|
| Retention D1 | Percentuale di nuovi giocatori che sono tornati al tuo gioco dopo un giorno. | No |
| Retention D7 | Percentuale di nuovi giocatori che sono tornati al tuo gioco dopo una settimana. | No |
| Tempo di gioco | Quantità media di tempo che i giocatori hanno trascorso nel tuo gioco. Cumulativo per la durata dell'esperimento. | Sì |
| ARPU | Ricavo medio per utente. Ricavi divisi per il numero di giocatori. Cumulativo per la durata dell'esperimento. | Sì |
| ARPPU | Ricavo medio per utente pagante. Ricavi divisi per il numero di giocatori che hanno acquistato un oggetto legato al gioco. Cumulativo per la durata dell'esperimento. | No |
| Tasso di conversione dei pagatori | Percentuale di giocatori che hanno acquistato un oggetto legato al gioco. Cumulativo per la durata dell'esperimento. | Sì |
| Tempo di sessione | Tempo di gioco diviso per il numero di sessioni. Cumulativo per la durata dell'esperimento. | No |
Stato dell'esperimento
La pagina Esperimenti mostra i seguenti stati per gli esperimenti.
| Stato | Descrizione |
|---|---|
| Completato | L'esperimento è terminato, il che accade quando lo fermi manualmente, quando raggiungi una decisione o automaticamente poco dopo la data di decisione (14 giorni dopo per gli esperimenti in-game, immediatamente per il matchmaking). Puoi comunque rivedere i dettagli e i risultati. |
| Decisione necessaria | L'esperimento ha raggiunto la sua data di decisione. Ora è un buon momento per rivedere i risultati. |
| In esecuzione | L'esperimento è in esecuzione ma non ha ancora raggiunto la sua data di decisione. |
| Programmato | L'esperimento è programmato per iniziare in una data futura. |
| Bozza | L'esperimento non è stato avviato o programmato. Puoi completare la sua configurazione. |
Metriche personalizzate
Per impostazione predefinita, gli esperimenti tracciano metriche generali come tempo di gioco, ARPU e retention D1. Queste metriche ti dicono se una modifica ha avuto un impatto complessivo, ma potresti anche voler conoscere i dettagli di ciò che è cambiato nel tuo gioco, come se i giocatori fossero più o meno propensi a utilizzare un'abilità, sconfiggere un boss o completare il flusso di onboarding.
Le metriche personalizzate ti consentono di aggiungere le tue metriche operative a un esperimento in-game, costruite dagli eventi personalizzati, eventi economici e eventi di funnel che già registri con AnalyticsService. Usale per:
- Spiegare un risultato piatto. La retention D1 è invariata, ma il completamento del funnel di onboarding è diminuito dell'8%. Potresti non voler implementare la modifica, oppure potresti voler testare un valore diverso.
- Giustificare comunque un rollout. L'ARPU è piatto, ma i saldi di monete dei pagatori si stanno esaurendo più rapidamente, il che dovrebbe migliorare la monetizzazione nel tempo.
- Testare un'ipotesi sul tuo loop principale. Se credi che più tempo trascorso a registrare video porti a più condivisioni e a una migliore retention, puoi misurare entrambi nella stessa esperienza.
Prima di iniziare
- Registra prima i tuoi eventi. Costruisci metriche personalizzate da eventi che il tuo gioco invia, quindi puoi scegliere solo tra nomi di eventi, valute e funnel che hanno già dati. Per impostarli, vedere eventi personalizzati, eventi economici e eventi di funnel.
- I nuovi eventi richiedono tempo per essere elaborati. Se hai appena aggiunto un evento, potrebbero essere necessarie fino a 24 ore per apparire nel dashboard.
Aggiungi metriche personalizzate a un esperimento
Nella pagina Esperimenti del Creator Hub per il tuo gioco, fai clic su Crea esperimento e compila il tipo e il nome come al solito.
Per Set di metriche, scegli Personalizzato.
Nella sezione Metriche personalizzate, fai clic su Aggiungi. Per riutilizzare una metrica che hai creato per un esperimento precedente, fai clic su Aggiungi da esperimento passato invece.

Scegli una Fonte: Personalizzata, Economia o Funnel.
Scegli cosa misura la metrica: il tipo di evento personalizzato, la valuta o il funnel e il suo passaggio di completamento.
Scegli un Calcolo. Per ulteriori informazioni, vedere Scegli un calcolo.
(Facoltativo) Aggiungi Filtri per restringere quali eventi contano per la metrica.
Verifica il Nome della metrica. Roblox genera un nome dalle tue selezioni, ma puoi modificarlo in qualcosa che il tuo team riconosce, o ripristinarlo in qualsiasi momento.

Fai clic su Salva. Puoi aggiungere fino a tre metriche personalizzate.
Per Metrica obiettivo, scegli la metrica che decide l'esperimento. Le tue metriche personalizzate appaiono in questo elenco insieme al tempo di gioco e al ricavo medio per utente. L'esperimento continua a tracciare qualsiasi metrica personalizzata che non imposti come metrica obiettivo come metrica di apprendimento.
Completa la configurazione dell'esperimento come al solito: durata, percentuale di distribuzione, varianti, targeting e programmazione.
Scegli un calcolo
Ogni calcolo conta solo i giocatori iscritti all'esperimento e solo gli eventi registrati durante l'esperimento. La maggior parte dei calcoli utilizza uno dei due denominatori basati sui giocatori:
- Per tutti gli utenti divide per tutti gli iscritti al gruppo dell'esperimento, inclusi i giocatori che non hanno mai attivato l'evento. Usa questo denominatore quando desideri che la metrica rifletta sia quanto spesso si verifica il comportamento sia quanti giocatori lo fanno.
- Per partecipante divide solo per i giocatori iscritti che hanno registrato l'evento almeno una volta. Usa questo denominatore quando desideri misurare l'intensità tra i giocatori che si impegnano, indipendentemente da quanti giocatori si impegnano.
L'eccezione è la conversione del funnel per istanza, che divide per le istanze del funnel piuttosto che per i giocatori.
Metriche degli eventi personalizzati
Seleziona un tipo di evento personalizzato, quindi uno dei seguenti calcoli:
| Calcolo | Cosa misura |
|---|---|
| Valore medio personalizzato | Valore totale dell'evento, diviso per il numero di giocatori iscritti che lo hanno registrato almeno una volta. |
| Valore medio personalizzato per tutti gli utenti | Valore totale dell'evento, diviso per tutti i giocatori iscritti. |
| Percentuale di partecipazione | Percentuale di giocatori iscritti che hanno registrato l'evento almeno una volta. |
Ad esempio, supponiamo che tu stia testando un nuovo loop di raccolta di erbe. Aggiungi Valore medio personalizzato per tutti gli utenti su un evento HerbsGathered per vedere se la variante aumenta la raccolta in tutto il gruppo, e Percentuale di partecipazione sullo stesso evento per vedere se attira giocatori che altrimenti lo ignorerebbero.
Metriche economiche
Seleziona una valuta, quindi uno dei seguenti calcoli:
| Calcolo | Cosa misura |
|---|---|
| Delta medio netto della valuta | Totale sorgente meno totale sink, diviso per il numero di giocatori iscritti che hanno registrato almeno un evento sorgente o sink. |
| Delta medio della sorgente della valuta | Importo totale degli eventi sorgente, diviso per il numero di giocatori iscritti che hanno registrato almeno un evento sorgente o sink. |
| Delta medio del sink della valuta | Importo totale degli eventi sink, diviso per il numero di giocatori iscritti che hanno registrato almeno un evento sorgente o sink. |
Per misurare la spesa su parti specifiche della tua economia, filtra su tipi di transazione specifici o SKU di oggetti.
Ad esempio, supponiamo che tu stia testando un nuovo pass di stagione che offre monete come ricompense di progresso. L'hai sintonizzato in modo che raggiungere il premio esclusivo finale in tempo richieda ai giocatori di spendere monete per potenziamenti di gioco. Sulla tua valuta di monete:
- Delta medio del sink della valuta ti dice se i giocatori stanno spendendo di più.
- Delta medio della sorgente della valuta ti dice se i giocatori stanno guadagnando di più.
- Delta medio netto della valuta ti dice se la spesa extra è sufficiente a fermare l'inflazione dei saldi.
Metriche del funnel
Seleziona un funnel, quindi un passaggio di completamento, quindi uno dei seguenti calcoli:
| Calcolo | Cosa misura |
|---|---|
| Percentuale di conversione del funnel per utente | Giocatori unici che hanno raggiunto il passaggio di completamento, divisi per giocatori unici che hanno registrato qualsiasi passaggio. |
| Percentuale di conversione del funnel per istanza | Valori unici di funnelSessionId che hanno raggiunto il passaggio di completamento, divisi per tutti i valori di funnelSessionId che hanno registrato qualsiasi passaggio. |
Tieni presente quanto segue per le metriche del funnel:
- Devi scegliere un passaggio di completamento. Non puoi modificare questo passaggio dopo che l'esperimento è iniziato, quindi scegli un passaggio che sia critico per la tua metrica.
- I funnel una tantum restituiscono lo stesso risultato per entrambi i calcoli. Per i funnel una tantum, incluso il funnel di onboarding, la conversione per utente e per istanza sono uguali perché ogni giocatore ha solo un'istanza. I calcoli differiscono solo per i funnel ricorrenti che utilizzano funnelSessionId.
- I funnel ricorrenti rispondono a domande diverse. La conversione per utente risponde a "quanti giocatori completano questo almeno una volta", mentre la conversione per istanza risponde a "quante volte un tentativo ha successo". Queste metriche possono muoversi in direzioni opposte.
- I passaggi saltati contano come completati. Se un giocatore registra il passaggio 3 senza registrare i passaggi 1 e 2, il funnel tratta i passaggi 1 e 2 come completati. I passaggi ripetuti contano solo una volta. Per ulteriori informazioni, vedere Passaggi saltati e Passaggi ripetuti.
Ad esempio, supponiamo che tu abbia rielaborato il tuo tutorial. Aggiungi Percentuale di conversione del funnel per utente sul funnel di onboarding con l'ultimo passaggio come passaggio di completamento e rendilo la tua metrica obiettivo. Quindi controlla la retention D1 per vedere se un migliore completamento porta effettivamente i giocatori a tornare.
Esempi di metriche personalizzate
| Cosa cambi | Cosa vuoi sapere | Metrica da aggiungere |
|---|---|---|
| Accorciare il tuo tutorial da otto passaggi a cinque | Più nuovi giocatori completano il tutorial? | Funnel: onboarding, percentuale di conversione per utente con l'ultimo passaggio come completamento |
| Aggiungere un pulsante per le missioni giornaliere al menu principale | Più giocatori provano le missioni giornaliere? | Personalizzato: percentuale di partecipazione su QuestStarted |
| Abbassare il prezzo del potenziamento della velocità da 100 a 50 monete | I giocatori spendono più monete nel negozio? | Economia: monete, delta medio del sink, filtrato sull'SKU dell'oggetto potenziamento della velocità |
| Raddoppiare le monete dai premi di accesso giornaliero | I giocatori stanno risparmiando troppe monete? | Economia: monete, delta netto medio (monete guadagnate meno monete spese) |
Leggi i risultati delle metriche personalizzate
Le metriche degli esperimenti sono cumulative, ma i dashboard analitici sono giornalieri. Una metrica di esperimento somma l'intera finestra dell'esperimento e, dove il denominatore sono i giocatori, conta ogni giocatore una sola volta. Le pagine analitiche predefinite mostrano una vista giornaliera, quindi lo stesso evento sottostante produce numeri diversi nei due posti. Usa le analisi per esplorare i tuoi eventi e convalidare che si attivino correttamente, e usa i risultati dell'esperimento per confrontare le varianti contro il controllo.
Quando interpreti le metriche personalizzate, tieni presente quanto segue:
- Una metrica personalizzata che si muove senza una metrica generale è informazione, non rumore. Di solito significa che la modifica ha funzionato meccanicamente ma non ha ancora avuto un impatto statisticamente significativo sulla retention o sui ricavi, o non lo avrà mai.
- La direzione non è sempre una buona notizia. Un calo nei tassi di vittoria potrebbe essere esattamente ciò che volevi se hai aggiunto più sfide per i giocatori esperti. Prima che l'esperimento inizi, decidi quale direzione conta come una vittoria.
- La significatività statistica si applica ancora. Le metriche personalizzate sono soggette agli stessi vincoli di dimensione del campione di qualsiasi altra metrica. Se una modifica non è statisticamente significativa, non agire su di essa.
- Non enfatizzare eccessivamente una metrica. Se la tua metrica obiettivo è in aumento ma una metrica di apprendimento è significativamente in calo, hai un compromesso da valutare, non una chiara vittoria.
Metriche dei video premiati
Video pubblicitari premiati possono aiutarti a guadagnare di più dal tuo gioco, anche da giocatori che non spendono Robux. Tuttavia, devi sintonizzare il posizionamento dei video pubblicitari premiati per adattarli al tuo gioco e alla sua economia. Dove posizioni l'annuncio e quali oggetti premi ai giocatori influenzano entrambi i guadagni pubblicitari e il coinvolgimento.
Il set di metriche Guadagni da video premiati traccia le prestazioni degli annunci insieme a una selezione di metriche predefinite di coinvolgimento, retention e monetizzazione, in modo da poter assicurarti che l'esecuzione degli annunci non danneggi il resto del tuo gioco. Usalo per:
- Sintonizzare un annuncio premiato. Testa una ricompensa più grande o un posizionamento diverso e controlla se il tasso di opt-in e la frequenza aumentano.
- Controlla il compromesso. Se i guadagni pubblicitari aumentano, controlla se il tempo di gioco, la retention o il tasso di conversione dei pagatori sono diminuiti. I guadagni totali per utente mostrano l'effetto combinato di annunci e microtransazioni.
- Raggiungi giocatori che non pagano. Testa se un'opzione pubblicitaria porta guadagni da giocatori che non hanno effettuato acquisti, senza abbassare ciò che i tuoi pagatori spendono.
Imposta un esperimento sui guadagni da video premiati
Gli esperimenti sui video premiati sono esperimenti in-game, quindi funzionano come qualsiasi altro esperimento in-game. Controlli la funzionalità dell'annuncio, come la dimensione della ricompensa o la frequenza degli annunci, con una configurazione. Ogni variante ha un valore di configurazione diverso e il tuo codice legge il valore con ConfigService:GetConfigForPlayerAsync(). Per ulteriori informazioni, vedere Aggiungi esperimenti al tuo codice.
Se non hai già una configurazione per il video pubblicitario premiato che desideri testare, creane una. Ad esempio, crea una chiave di configurazione numerica adCooldownSeconds con il tuo attuale tempo di attesa come valore di controllo.
Nella pagina Esperimenti del Creator Hub per il tuo gioco, fai clic su Crea esperimento.
Per Tipo, scegli In-experience.
Per Set di metriche, scegli Guadagni da video premiati. Roblox imposta impressioni per utente e guadagni totali per utente come metriche obiettivo, quindi non è necessario sceglierne una.

Completa la configurazione dell'esperimento come al solito: durata, percentuale di distribuzione, varianti, targeting e programmazione.
Metriche dei guadagni da video premiati
Il set di metriche Guadagni da video premiati traccia le seguenti metriche pubblicitarie, oltre a una selezione delle metriche predefinite in modo da poter controllare che gli annunci non danneggino il coinvolgimento, la retention o la monetizzazione.
| Metrica | Descrizione |
|---|---|
| Guadagni totali per utente | Guadagni per giocatore da video pubblicitari premiati e microtransazioni (prodotti per sviluppatori, pass, server privati e accesso a pagamento). Cumulativo per la durata dell'esperimento. |
| Impressioni per utente | Impressioni pubblicitarie per giocatore. Cumulativo per la durata dell'esperimento. |
| Tasso di opt-in | Percentuale di giocatori idonei che hanno guardato almeno un annuncio. |
| Frequenza | Impressioni pubblicitarie divise per spettatori unici. |
| Guadagni pubblicitari per utente | Guadagni per giocatore da video pubblicitari premiati. Cumulativo per la durata dell'esperimento. |
Targetizza esperimenti a pubblici specifici
Per impostazione predefinita, un esperimento in-game può iscrivere qualsiasi giocatore nella tua percentuale di distribuzione. Il targeting ti consente di eseguire l'esperimento su un pubblico specifico, come giocatori in determinati paesi, finestre di anzianità specifiche o livelli di spesa attivi. Questi attributi decidono chi può entrare nell'esperimento. Il targeting utilizza gli stessi attributi delle configurazioni di targeting.
Negli esperimenti più recenti, se un attributo targetizzato cambia dopo che un giocatore si iscrive, Roblox non lo rimuove dall'esperimento. Per vedere a quali esperimenti si applica questo, vedere Valutazione per sessione.
Imposta esperimenti targetizzati
Configuri i criteri di targeting quando crei l'esperimento. Dopo che l'esperimento è iniziato, non puoi modificare le regole di targeting, il valore di controllo, le varianti o qualsiasi regola condizionale che utilizza la chiave di configurazione.
Puoi riutilizzare le condizioni condizionali esistenti dalle tue configurazioni per definire il tuo targeting, ma l'esperimento memorizza una copia indipendente di ciascuna regola. Modificare o eliminare la condizione originale della configurazione in seguito non ha effetto sul targeting dell'esperimento.
Poiché restringere il tuo pubblico riduce la dimensione del campione, Roblox aggiorna l'effetto minimo rilevabile (MDE) utilizzando una stima del pubblico che corrisponde ai tuoi criteri di targeting. Assicurati che il tuo pubblico targetizzato sia abbastanza grande da produrre risultati statisticamente significativi.
Come Roblox risolve i valori targetizzati
Roblox valuta gli esperimenti prima, rispetto a qualsiasi regola delle configurazioni condizionali standard. Quando una chiave di configurazione ha un esperimento attivo, Roblox risolve il valore in questo ordine. Questa risoluzione si applica agli esperimenti che iniziano dopo il 17 novembre 2026; per esperimenti precedenti, vedere Valutazione per sessione.
- Se il giocatore è già iscritto all'esperimento, riceve il valore dell'esperimento assegnato (controllo o variante), anche se non corrisponde più ai criteri di targeting.
- Se il giocatore non è iscritto, Roblox lo controlla rispetto ai criteri di targeting. Se corrisponde e rientra nella distribuzione, Roblox lo iscrive e assegna un valore di esperimento.
- La prima condizione di configurazione corrispondente.
- Qualsiasi condizione di configurazione corrispondente successiva.
- Il valore predefinito.
I giocatori nel gruppo di controllo ricevono il valore prodotto dalle tue regole di configurazione esistenti. Non puoi eseguire più di un esperimento attivo sulla stessa chiave di configurazione alla volta.
Ad esempio, supponiamo che tu stia testando un nuovo tutorial e targetizzi solo i nuovi utenti. Un giocatore visita la tua esperienza per la prima volta lunedì, si iscrive e riceve il nuovo tutorial. Mercoledì torna. Ora è un utente di ritorno, ma è ancora nell'esperimento e vede ancora il nuovo tutorial.
Valutazione per sessione
Per esperimenti che iniziano dopo il 17 novembre 2026, il targeting è un controllo di ingresso: decide se un giocatore può essere iscritto, non se rimane iscritto.
Una volta che un giocatore si iscrive a uno di questi esperimenti, mantiene la propria assegnazione (controllo o variante) attraverso le sessioni per il resto dell'esperimento, anche se successivamente smette di corrispondere ai tuoi criteri di targeting.
Per esperimenti che sono iniziati in quella data o prima, Roblox valuta gli attributi di targeting per sessione, quindi l'idoneità di un singolo giocatore può cambiare nel tempo. Se un giocatore corrisponde ai tuoi criteri di targeting durante una sessione, può essere iscritto e ricevere una variante dell'esperimento. Se non corrisponde più in una sessione successiva, smette di ricevere il valore dell'esperimento e torna immediatamente alle tue regole di configurazione standard. Se il tuo esperimento ha bisogno di continuità oltre l'idoneità—ad esempio, un flusso di onboarding multi-sessione mirato a nuovi giocatori—mantieni tu stesso il valore, ad esempio in un data store.
I dati di un giocatore rimangono attribuiti alla variante (o al controllo) a cui erano iscritti, anche se successivamente smettono di corrispondere ai criteri. Ad esempio, la retention D7 conta ancora un giocatore che si è iscritto nel giorno 0 e se è tornato nel giorno 7, anche se non è più qualificato nel giorno 4. Per esperimenti che iniziano dopo quella data, il giocatore continua anche a vedere l'assegnazione che queste metriche misurano.
Modifiche alla configurazione mentre un esperimento è in corso
Per prevenire la deriva della configurazione e i dati dell'esperimento corrotti, Roblox blocca la chiave di configurazione nel momento in cui un esperimento inizia a essere eseguito:
- Non puoi modificare o eliminare la chiave di configurazione in esecuzione, né puoi modificare i suoi valori condizionali standard.
- Qualsiasi condizione globale a cui fa riferimento la configurazione attiva è anch'essa bloccata. Non puoi modificarle, eliminarle o riordinarle rispetto alle altre.
Il blocco viene rilasciato quando l'esperimento è completato.
Aggiungi esperimenti al tuo codice
Applicare esperimenti in-game è simile ad applicare configurazioni. La principale differenza è l'uso di ConfigService:GetConfigForPlayerAsync() piuttosto che ConfigService:GetConfigAsync().
GetConfigForPlayerAsync() recupera uno snapshot specifico per il giocatore. Quando chiami GetValue(), lo snapshot controlla se c'è un esperimento attivo e iscrive (o non iscrive) l'utente in base alla percentuale di distribuzione.
local ConfigService = game:GetService("ConfigService")
local Players = game:GetService("Players")
local function onPlayerAdded(player)
local playerConfig = ConfigService:GetConfigForPlayerAsync(player)
local leaderboardColor = playerConfig:GetValue("leaderboardColor")
end
Players.PlayerAdded:Connect(onPlayerAdded)Devi chiamare GetConfigForPlayerAsync() separatamente per ogni giocatore; GetConfigAsync() non applica esperimenti.
Dopo aver chiamato GetValue() su uno snapshot specifico per il giocatore, il giocatore associato allo snapshot è iscritto all'esperimento per quella chiave e solo per quella chiave. Tutte le chiamate successive al metodo restituiscono lo stesso controllo o variante per la durata dell'esperimento. Per esperimenti che iniziano dopo il 17 novembre 2026, questo vale attraverso le sessioni, anche dopo che un attributo targetizzato cambia. Per esperimenti targetizzati precedenti, vedere Valutazione per sessione. La prima chiamata è ancora l'unica chiamata casuale, ed è ancora quella che iscrive il giocatore.
L'iscrizione agli esperimenti non è limitata ai nuovi utenti. Anche se un utente ha precedentemente ricevuto un valore da GetConfigAsync(), puoi comunque iscriverlo a un esperimento utilizzando uno snapshot specifico per il giocatore da GetConfigForPlayerAsync().
Se una chiave in uno snapshot specifico per il giocatore non ha un esperimento attivo, GetValue() restituisce il valore di configurazione standard (o nil se non ha valore).
Iscrizione personalizzata
Se desideri iscrivere solo i giocatori che soddisfano criteri basati su stato in-game, devi scrivere codice aggiuntivo per controllare tali criteri e solo allora chiamare GetValue() per iscriverli all'esperimento. Considera il seguente esempio:
- Vuoi testare un nuovo schema di controllo nel tuo gioco di corse.
- Lo schema è per giocatori esperti, quindi vuoi targetizzare i giocatori che hanno vinto un gran numero di corse.
Il tuo codice potrebbe apparire in questo modo:
local function getControlScheme(player, racesWon)
if racesWon < 20 then
return "standardScheme"
else
-- Il giocatore ha molte vittorie, iscrivi all'esperimento
local playerConfigSnapshot = ConfigService:GetConfigForPlayerAsync(player)
if playerConfigSnapshot:GetValue("useNewControlScheme") then
return "newScheme"
else
return "standardScheme"
end
end
endUn gate in-game personalizzato come racesWon è diverso dal targeting degli esperimenti. L'iscrizione persistente si applica solo una volta che chiami GetValue(). Poiché questo script chiama solo GetValue() mentre la condizione in-game è valida, un giocatore che non soddisfa la condizione non viene mai iscritto, quindi l'iscrizione persistente non si applica mai a loro. Per esperimenti che iniziano dopo il 17 novembre 2026, una volta che un giocatore è iscritto, il valore dell'esperimento non scomparirà da solo. Se hai una superficie una tantum che dovrebbe funzionare solo mentre il giocatore corrisponde ancora alla condizione, come un popup che dovrebbe apparire solo mentre un giocatore è nuovo, mantieni il tuo controllo attorno a quella superficie invece di fare affidamento sul valore dell'esperimento per spegnersi.
Visualizza e interpreta i risultati
Fai clic su Visualizza per vedere dettagli e risultati. Nella scheda Dettagli e progresso puoi vedere il numero totale di giocatori iscritti, così come il numero di giocatori che hanno ricevuto il valore di controllo e ciascuna variante. Visualizzare questa pagina all'inizio dell'esperimento è utile esclusivamente per assicurarti che l'esperimento stia funzionando correttamente, non per prendere decisioni. Prima di prendere decisioni, vedere Best practices.

Metriche di danno precoce
Per le prime 24 ore, o fino a quando non arrivano i primi risultati giornalieri, le metriche di danno precoce metriche si aggiornano ogni 5 minuti in modo da poter rilevare rapidamente danni critici non intenzionali. Fai clic su Metriche per vedere questi risultati. Cerca metriche che danneggiano criticamente evidenziate in rosso.
Passa il mouse su una metrica e fai clic su Visualizza confidenza per vedere l'intervallo di confidenza.

Durante questa finestra, i risultati testano solo per il danno, quindi l'intervallo di confidenza non ha un limite inferiore, solo un limite superiore. Una metrica è contrassegnata come criticamente dannosa solo se l'intero intervallo di confidenza è al di sotto della soglia di danno critico. Nell'esempio seguente, il tempo di gioco è a -12,67% con un limite superiore di -2,73%. Anche se la stima è inferiore alla soglia di danno critico di -10% e l'intero intervallo di confidenza è al di sotto di 0%, la metrica non è classificata come criticamente dannosa perché l'intervallo non è completamente al di sotto della soglia di danno.

Usa questi risultati solo per guidare le decisioni di arresto precoce nelle prime 24 ore. Non usarli per decisioni di lancio, fai affidamento invece sui risultati giornalieri.
Soglie di danno precoce
Ogni metrica ha la propria soglia di danno precoce. Se l'aumento di una variante scende al di sotto di questa soglia, sarà classificato come criticamente dannoso per quella metrica. Tuttavia, per confronti di varianti metriche con meno di 10.000 giocatori iscritti tra la variante e il controllo, gli aumenti delle varianti vengono mostrati ma le decisioni sul danno non verranno prese fino a quando la dimensione del campione non fornisce dati sufficienti per rilevare il danno in modo affidabile.
| Metrica | Soglia di danno precoce |
|---|---|
| Tempo di gioco | -10% |
| ARPU | -20% |
| Tasso di conversione dei pagatori | -20% |
Notifiche di danno precoce
Se viene rilevato un danno critico nel tuo esperimento durante il periodo di analisi del danno precoce, una notifica viene inviata al proprietario del gioco e al proprietario dell'esperimento per un'azione precoce. Le notifiche vengono inviate via email, nella tray di notifica del Creator Hub e tramite un webhook opzionale. Dopo aver ricevuto una notifica di danno precoce, dovresti rivedere le metriche dell'esperimento e decidere se l'esperimento dovrebbe essere interrotto anticipatamente.

Risultati giornalieri
Dopo che un esperimento è stato eseguito per almeno 24 ore, fai clic su Risultati per vedere gli ultimi risultati, che si aggiornano ogni 24 ore. Cerca cambiamenti statisticamente significativi nelle metriche obiettivo, che il dashboard evidenzia in verde o rosso. Questi cambiamenti sono più propensi a mostrare l'impatto della tua variante e meno propensi a essere falsi positivi o negativi.

Una metrica è statisticamente significativa quando l'intervallo di confidenza per la sua variazione percentuale non sovrappone 0%. Nell'esempio seguente, l'ARPU è aumentato del 2,37%, con limiti inferiori e superiori del 0,55% e del 4,19%, il che rende il cambiamento statisticamente significativo.

Per comodità, la pagina dei risultati ti consente di sostituire il valore di configurazione predefinito con una delle varianti dell'esperimento.
Discrepanza nel rapporto campione
Se il tuo esperimento non riesce a iscrivere gli utenti nelle varianti nelle proporzioni attese, apparirà un banner di avviso per Discrepanza nel rapporto campione (SRM) nella scheda dei risultati dell'esperimento. Se viene rilevata SRM, si consiglia di interrompere e riavviare l'esperimento.
La SRM viene controllata ogni 5 minuti per le prime 24 ore del tuo esperimento e poi quotidianamente dopo. La SRM può invalidare i risultati dell'esperimento; non prendere decisioni di lancio basate su risultati compromessi e non affidabili.

Prendi una decisione
Quando il tuo esperimento si conclude, fai clic su Prendi decisione per avviare un rollout guidato. Roblox mostra eventuali avvisi sulla significatività statistica e sulla durata dell'esperimento, quindi ti invita a selezionare una variante vincente o mantenere il controllo. In base alla tua scelta, Roblox distribuisce la modifica appropriata alle tue configurazioni permanenti; tornare alla pagina Configurazioni mostra il nuovo valore. Fai clic su Cambia vincitore se cambi idea.
Se hai modifiche in sospeso non risolte sulla configurazione quando completi l'esperimento, Roblox le ripone temporaneamente e le ripristina su base di miglior sforzo dopo il rollout.
La tua decisione determina le modifiche alla configurazione che Roblox propone:
- Controllo: Roblox non apporta modifiche alle tue configurazioni esistenti.
- Variante non targetizzata: Il valore della variante diventa il nuovo valore predefinito della configurazione. Roblox rimuove tutte le altre condizioni su quella chiave di configurazione, anche se rimangono nella tua lista di condizioni globali.
- Variante targetizzata: Roblox integra la regola vincente di nuovo nella tua configurazione permanente utilizzando la prima opzione applicabile in questo ordine di priorità:
- Sovrascrivi: Se una condizione identica si trova già in cima alla configurazione, Roblox sovrascrive il suo valore con il valore della variante vincente.
- Aggiungi esistente: Se esiste una condizione globale corrispondente e si troverebbe naturalmente in cima, Roblox la aggiunge alla configurazione con il valore della variante.
- Promuovi: Se una condizione globale corrispondente può essere promossa in modo sicuro al rango più basso necessario per renderla la regola principale in questa configurazione (senza alterare altre configurazioni), Roblox la aggiunge alla configurazione e la riordina globalmente.
- Crea nuova: Altrimenti, Roblox crea una nuova condizione globale classificata un livello sopra la condizione più alta attualmente utilizzata nella configurazione. Se questo crea una regola duplicata all'interno della configurazione, Roblox rimuove il valore condizionale ridondante mantenendo la regola globale.
Migliori pratiche per gli esperimenti
Usa l'effetto minimo rilevabile (MDE) per decidere se il tuo esperimento vale la pena di essere eseguito.
Roblox calcola l'MDE utilizzando la tua metrica obiettivo e il numero di giocatori per variante, che si basa su utenti attivi giornalieri, percentuale di distribuzione, durata dell'esperimento e suddivisioni delle varianti. Se l'MDE è troppo alto per la tua metrica obiettivo (ad esempio, più del 100%), è improbabile che tu possa raggiungere la significatività statistica. I giochi con meno di 1.000 utenti attivi giornalieri potrebbero avere difficoltà a ottenere dati utili dagli esperimenti.

Inizia con un'ipotesi. Piuttosto che semplicemente cambiare una variabile e controllare i risultati, scrivi una dichiarazione di causa ed effetto su ciò che hai cambiato, cosa ti aspetti che accada e perché. Man mano che sperimenti sempre di più, avere un insieme di ipotesi scritte da accompagnare ai tuoi risultati può aiutare a chiarire il tuo pensiero e stimolare nuove idee per esperimenti.
Lascia che gli esperimenti durino per la loro intera durata. L'effetto novità (interesse temporaneo per una modifica non perché sia migliore, ma perché è nuova) può distorcere pesantemente i risultati iniziali, a volte facendoli oscillare dentro e fuori dalla significatività statistica. Terminare gli esperimenti in anticipo aumenta le probabilità di prendere azioni premature basate su picchi anomali che più dati avrebbero smussato o persino contraddetto.
- L'eccezione è il danno precoce nelle prime 24 ore: se le metriche sono contrassegnate come dannose criticamente o vedi una discrepanza nel rapporto campione, rivedi e considera di fermarti. Non utilizzare i risultati di danno precoce per decisioni di lancio.
Non agire senza significatività statistica. Anche cambiamenti apparentemente grandi nel comportamento dei giocatori potrebbero non essere statisticamente significativi, generalmente a causa di una piccola dimensione del campione. Se una modifica non è statisticamente significativa, ignorala.
Evita modifiche durante gli esperimenti. I bug maggiori ovviamente necessitano di correzioni, ma le modifiche al contenuto del gioco possono influenzare il comportamento dei giocatori e invalidare i tuoi risultati, anche se le modifiche sembrano non correlate al tuo esperimento. Allo stesso modo, esegui esperimenti simultaneamente solo se sei sicuro che non interagiranno tra loro.
Usa intervalli di confidenza per approfondire le metriche e controllare i casi borderline di significatività statistica. Se l'intervallo di confidenza è troppo ampio, la metrica potrebbe non raggiungere mai la significatività statistica.
Se una metrica è significativamente in aumento e un'altra significativamente in calo, devi decidere se il compromesso vale la pena, possibilmente in congiunzione con altri movimenti statisticamente significativi.
Gli esperimenti forniscono un forte segnale, ma la significatività statistica tratta probabilità, non certezze—da qui l'intervallo di confidenza. La variabilità dei dati, la dimensione del campione e la magnitudine del cambiamento influenzano tutti la probabilità di rilevare se una variante ha influenzato il comportamento dei giocatori. Qualsiasi azione tu prenda basata sui risultati di un esperimento dovrebbe essere bilanciata con dati qualitativi come il feedback dei giocatori e la tua visione complessiva per il gioco.
Documenta le tue scoperte e decisioni. Anche se non le usi per eseguire esperimenti aggiuntivi, avere un corpo di conoscenza e prove può informare su come progetti i tuoi giochi.