Experimentos

*Este conteúdo é traduzido por IA (Beta) e pode conter erros. Para ver a página em inglês, clique aqui.

Experimentos permitem que você execute testes A/B em jogo e de matchmaking para medir o impacto causal de mudanças em seu jogo. Por exemplo, você pode mostrar diferentes experiências de integração a diferentes jogadores e medir a diferença no tempo de jogo, retenção e outros indicadores-chave de desempenho.

Experimentos são excelentes para medir o seguinte:

  • Engajamento - Fluxos de integração, sistemas de progressão, esquemas de controle, matchmaking personalizado
  • Monetização - Visibilidade da loja e experiência do usuário, tipos de pacotes iniciais, preços
Visão geral da página de Experimentos no Creator Hub

Criar experimentos

Os experimentos vêm em dois tipos:

  1. Se você ainda não tiver uma configuração, crie uma para o seu jogo.

  2. Na página de Experimentos do Creator Hub para o seu jogo, clique em Criar experimento.

  3. Para Tipo, escolha Dentro da experiência.

  4. Especifique um nome para o experimento.

  5. Para Conjunto de métricas, escolha o conjunto de métricas que você deseja que o experimento rastreie:

    Conjunto de métricasO que rastreia
    PadrãoMétricas de desempenho e engajamento padrão como ARPU, tempo de sessão e retenção de novos usuários.
    Ganhos de Vídeo RecompensadoMétricas para anúncios em vídeo recompensados: taxa de opt-in, frequência, impressões, ganhos com anúncios e ganhos totais por usuário, além de métricas padrão de engajamento, retenção e monetização.
    PersonalizadoAs métricas padrão mais até três métricas personalizadas que você define a partir de seus eventos customizados, economia e funil.
    O dropdown de Conjunto de métricas com as opções Padrão, Ganhos de Vídeo Recompensado e Personalizado
  6. Especifique uma métrica de objetivo e a duração planejada para o experimento. Os experimentos duram entre 14 e 60 dias.

    Independentemente do que você escolher como sua métrica de objetivo, os experimentos rastreiam todas as métricas no conjunto de métricas. Se você escolher o conjunto de métricas Ganhos de Vídeo Recompensado, o Roblox define as métricas de objetivo para você, então você só precisa especificar a duração.

  7. Escolha uma porcentagem de implementação. Este número é a porcentagem de jogadores que você deseja incluir no experimento.

    Em geral, quanto mais pessoas você incluir em um experimento, melhores serão os dados, mas use seu julgamento sobre o que é melhor para o seu jogo.

  8. Especifique variantes e porcentagens.

    Variantes são valores alternativos para sua configuração. Para uma chave de configuração numérica bossHealth com um valor de controle de 500, você pode especificar uma variante de 300. Você pode ter até duas variantes e um controle em um experimento.

    As porcentagens ditam como atribuir variantes dentro da implementação do experimento. Considere o seguinte exemplo:

    • Você escolhe uma implementação geral de 40%.
    • Você especifica duas variantes e uma divisão de 50/50 entre elas e o controle.

    Neste exemplo, 60% de seus usuários são excluídos do experimento; esses usuários recebem o controle e não têm impacto nos resultados do experimento. Aproximadamente 20% de seus usuários recebem o controle como parte do experimento. Outros 20% recebem a variante. Dependendo da contagem de jogadores, essa distribuição pode não ser grande o suficiente para gerar resultados acionáveis.

    Página de variantes

  9. (Opcional) Direcione o experimento para um público específico para que apenas jogadores correspondentes sejam elegíveis para inscrição. O direcionamento usa os mesmos atributos de jogador que as configurações condicionais, e você pode copiar condições existentes diretamente de suas configurações. Para mais informações, veja Direcionar experimentos para públicos específicos.

    A etapa de direcionamento opcional durante a criação do experimento

  10. A etapa final é o agendamento. Você pode iniciar experimentos imediatamente ou agendá-los para uma data e hora futuras. Depois de agendar um experimento, você não pode alterar sua configuração (duração, porcentagem de implementação, variantes, etc.), mas pode reagendá-lo.

Métricas

Os experimentos rastreiam todas as seguintes métricas durante a duração do experimento. Essas métricas são atualizadas a cada 24 horas enquanto o experimento está em execução. No entanto, durante as primeiras 24 horas do seu experimento, o Tempo de Jogo, a Taxa de Conversão de Pagadores e o ARPU também são atualizados a cada 5 minutos para que você possa detectar regressões críticas (dano precoce) rapidamente.

MétricaDescriçãoDano precoce?
Retenção D1Porcentagem de novos jogadores que retornaram ao seu jogo após um dia.Não
Retenção D7Porcentagem de novos jogadores que retornaram ao seu jogo após uma semana.Não
Tempo de JogoMédia de tempo que os jogadores passaram dentro do seu jogo. Cumulativo durante a duração do experimento.Sim
ARPUReceita média por usuário. Receita dividida pelo número de jogadores. Cumulativo durante a duração do experimento.Sim
ARPPUReceita média por usuário pagante. Receita dividida pelo número de jogadores que compraram um item relacionado ao jogo. Cumulativo durante a duração do experimento.Não
Taxa de Conversão de PagadoresPorcentagem de jogadores que compraram um item relacionado ao jogo. Cumulativo durante a duração do experimento.Sim
Tempo de SessãoTempo de jogo dividido pelo número de sessões. Cumulativo durante a duração do experimento.Não

Status do experimento

A página de Experimentos mostra os seguintes status para os experimentos.

StatusDescrição
ConcluídoO experimento terminou, o que acontece quando você o para manualmente, quando você chega a uma decisão ou automaticamente logo após a data de decisão (14 dias após para experimentos em jogo, imediatamente para matchmaking). Você ainda pode revisar os detalhes e resultados.
Decisão necessáriaO experimento atingiu sua data de decisão. Agora é um bom momento para revisar os resultados.
Em execuçãoO experimento está em execução, mas ainda não atingiu sua data de decisão.
AgendadoO experimento está agendado para começar em uma data futura.
RascunhoO experimento não foi iniciado ou agendado. Você pode terminar de configurá-lo.

Métricas personalizadas

Por padrão, os experimentos rastreiam métricas principais como tempo de jogo, ARPU e retenção D1. Essas métricas dizem se uma mudança teve um impacto geral, mas você também pode querer saber os detalhes do que mudou em seu jogo, como se os jogadores estavam mais ou menos propensos a usar uma habilidade, derrotar um chefe ou completar o fluxo de integração.

Métricas personalizadas permitem que você adicione suas próprias métricas operacionais a um experimento em jogo, construídas a partir dos eventos personalizados, eventos de economia e eventos de funil que você já registra com AnalyticsService. Use-as para:

  • Explicar um resultado plano. A retenção D1 não mudou, mas a conclusão do funil de integração caiu 8%. Você pode não querer implementar a mudança, ou pode querer testar um valor diferente.
  • Justificar uma implementação de qualquer maneira. O ARPU está plano, mas os saldos de moedas dos pagadores estão diminuindo mais rápido, o que deve melhorar a monetização ao longo do tempo.
  • Testar uma hipótese sobre seu loop central. Se você acredita que mais tempo gasto gravando vídeos leva a mais compartilhamentos e melhor retenção, você pode medir ambos no mesmo experimento.

Antes de começar

  • Registre seus eventos primeiro. Você constrói métricas personalizadas a partir de eventos que seu jogo envia, então você só pode escolher entre nomes de eventos, moedas e funis que já têm dados. Para configurá-los, veja eventos personalizados, eventos de economia e eventos de funil.
  • Novos eventos levam tempo para processar. Se você acabou de adicionar um evento, pode levar até 24 horas para aparecer no painel.

Adicionar métricas personalizadas a um experimento

  1. Na página de Experimentos do Creator Hub para o seu jogo, clique em Criar experimento e preencha o tipo e o nome como de costume.

  2. Para Conjunto de métricas, escolha Personalizado.

  3. Na seção Métricas personalizadas, clique em Adicionar. Para reutilizar uma métrica que você criou para um experimento anterior, clique em Adicionar de experimento anterior em vez disso.

    A seção de Métricas personalizadas com os botões Adicionar e Adicionar de experimento anterior
  4. Escolha uma Fonte: Personalizada, Economia ou Funil.

  5. Escolha o que a métrica mede: o tipo de evento personalizado, a moeda ou o funil e seu passo de conclusão.

  6. Escolha um Cálculo. Para mais informações, veja Escolher um cálculo.

  7. (Opcional) Adicione Filtros para restringir quais eventos contam para a métrica.

  8. Verifique o Nome da métrica. O Roblox gera um nome a partir de suas seleções, mas você pode editá-lo para algo que sua equipe reconheça ou redefini-lo a qualquer momento.

    O painel Adicionar métrica personalizada com uma fonte de funil, o funil de Integração, um passo de conclusão e o cálculo de conversão por usuário
  9. Clique em Salvar. Você pode adicionar até três métricas personalizadas.

  10. Para Métrica de objetivo, escolha a métrica que decide o experimento. Suas métricas personalizadas aparecem nesta lista ao lado do tempo de jogo e da receita média por usuário. O experimento ainda rastreia qualquer métrica personalizada que você não defina como a métrica de objetivo como uma métrica de aprendizado.

  11. Termine de configurar o experimento como de costume: duração, porcentagem de implementação, variantes, direcionamento e agendamento.

Escolher um cálculo

Cada cálculo conta apenas jogadores inscritos no experimento e apenas eventos registrados durante o experimento. A maioria dos cálculos usa um dos dois denominadores baseados em jogadores:

  • Por todos os usuários divide por todos os inscritos no grupo do experimento, incluindo jogadores que nunca acionaram o evento. Use este denominador quando você quiser que a métrica reflita tanto com que frequência o comportamento acontece quanto quantos jogadores o fazem.
  • Por participante divide apenas pelos jogadores inscritos que registraram o evento pelo menos uma vez. Use este denominador quando você quiser medir a intensidade entre os jogadores que se envolvem, independentemente de quantos jogadores se envolvem.

A exceção é a conversão de funil por instância, que divide por instâncias de funil em vez de jogadores.

Métricas de eventos personalizados

Selecione um tipo de evento personalizado e, em seguida, um dos seguintes cálculos:

CálculoO que mede
Valor médio personalizadoValor total do evento, dividido pelo número de jogadores inscritos que o registraram pelo menos uma vez.
Valor médio personalizado por todos os usuáriosValor total do evento, dividido por todos os jogadores inscritos.
Participação %Parte dos jogadores inscritos que registraram o evento pelo menos uma vez.

Por exemplo, suponha que você esteja testando um novo loop de coleta de ervas. Adicione Valor médio personalizado por todos os usuários em um evento HerbsGathered para ver se a variante aumenta a coleta em todo o grupo, e Participação % no mesmo evento para ver se atrai jogadores que de outra forma o ignorariam.

Métricas de economia

Selecione uma moeda e, em seguida, um dos seguintes cálculos:

CálculoO que mede
Delta médio de moeda líquidaTotal de fontes menos total de saídas, dividido pelo número de jogadores inscritos que registraram pelo menos um evento de fonte ou saída.
Delta médio de fonte de moedaTotal de quantia de eventos de fonte, dividido pelo número de jogadores inscritos que registraram pelo menos um evento de fonte ou saída.
Delta médio de saída de moedaTotal de quantia de eventos de saída, dividido pelo número de jogadores inscritos que registraram pelo menos um evento de fonte ou saída.

Para medir gastos em partes específicas de sua economia, filtre por tipos de transação ou SKUs de itens específicos.

Por exemplo, suponha que você esteja testando um novo passe de temporada que dá moedas como recompensas de progresso. Você o ajustou para que alcançar o prêmio exclusivo final a tempo exija que os jogadores gastem moedas em impulsos de jogabilidade. Em sua moeda de moedas:

  • Delta médio de saída de moeda diz se os jogadores estão gastando mais.
  • Delta médio de fonte de moeda diz se os jogadores estão ganhando mais.
  • Delta médio de moeda líquida diz se o gasto extra é suficiente para impedir que os saldos inflacionem.

Métricas de funil

Selecione um funil, em seguida, um passo de conclusão, e depois um dos seguintes cálculos:

CálculoO que mede
Conversão de funil por usuário %Jogadores únicos que alcançaram o passo de conclusão, dividido por jogadores únicos que registraram qualquer passo.
Conversão de funil por instância %Valores únicos de funnelSessionId que alcançaram o passo de conclusão, dividido por todos os valores de funnelSessionId que registraram qualquer passo.

Mantenha o seguinte em mente para métricas de funil:

  • Você deve escolher um passo de conclusão. Você não pode alterar este passo após o início do experimento, então escolha um passo que seja crítico para sua métrica.
  • Funis de uma vez retornam o mesmo resultado para ambos os cálculos. Para funis de uma vez, incluindo o funil de integração, a conversão por usuário e por instância são iguais porque cada jogador tem apenas uma instância. Os cálculos só diferem para funis recorrentes que usam funnelSessionId.
  • Funis recorrentes respondem a perguntas diferentes. A conversão por usuário responde "quantos jogadores completam isso pelo menos uma vez", enquanto a conversão por instância responde "com que frequência uma tentativa tem sucesso". Essas métricas podem se mover em direções opostas.
  • Passos pulados contam como completos. Se um jogador registra o passo 3 sem registrar os passos 1 e 2, o funil considera os passos 1 e 2 como completos. Passos repetidos contam apenas uma vez. Para mais informações, veja Passos pulados e Passos repetidos.

Por exemplo, suponha que você tenha reformulado seu tutorial. Adicione Conversão de funil por usuário % no funil de integração com o passo final como o passo de conclusão e faça dele sua métrica de objetivo. Em seguida, verifique a retenção D1 para ver se uma melhor conclusão realmente leva os jogadores a retornarem.

Exemplos de métricas personalizadas

O que você mudaO que você quer saberMétrica a adicionar
Encurtar seu tutorial de oito passos para cincoMais novos jogadores terminam o tutorial?Funil: integração, conversão por usuário % com o último passo como conclusão
Adicionar um botão de missões diárias ao menu principalMais jogadores tentam missões diárias?Personalizado: participação % em QuestStarted
Reduzir o preço do impulso de velocidade de 100 para 50 moedasOs jogadores gastam mais moedas na loja?Economia: moedas, delta médio de saída, filtrado para o SKU do item de impulso de velocidade
Dobrar as moedas das recompensas diárias de loginOs jogadores estão economizando muitas moedas?Economia: moedas, delta líquido médio (moedas ganhas menos moedas gastas)

Ler resultados de métricas personalizadas

As métricas de experimento são cumulativas, mas os painéis de análise são diários. Uma métrica de experimento soma toda a janela do experimento e, onde o denominador é jogadores, conta cada jogador uma vez. As páginas de análise têm uma visualização padrão diária, então o mesmo evento subjacente produz números diferentes nos dois lugares. Use a análise para explorar seus eventos e validar se eles estão sendo acionados corretamente, e use os resultados do experimento para comparar variantes contra o controle.

Ao interpretar métricas personalizadas, mantenha o seguinte em mente:

  • Uma métrica personalizada que se move sem uma métrica principal é informação, não ruído. Isso geralmente significa que a mudança funcionou mecanicamente, mas ainda não teve um impacto estatisticamente significativo na retenção ou receita, ou nunca terá.
  • A direção nem sempre é uma boa notícia. Uma queda nas taxas de vitória pode ser exatamente o que você queria se você adicionou mais desafios para jogadores estabelecidos. Antes do início do experimento, decida qual direção conta como uma vitória.
  • A significância estatística ainda se aplica. Métricas personalizadas estão sujeitas às mesmas restrições de tamanho de amostra que qualquer outra métrica. Se uma mudança não for estatisticamente significativa, não aja com base nela.
  • Não enfatize demais uma métrica. Se sua métrica de objetivo está alta, mas uma métrica de aprendizado está significativamente baixa, você tem um trade-off a pesar, não uma vitória clara.

Métricas de vídeo recompensado

Anúncios em vídeo recompensados podem ajudá-lo a ganhar mais com seu jogo, incluindo de jogadores que não gastam Robux. No entanto, você precisa ajustar a colocação dos anúncios em vídeo recompensados para se adequar ao seu jogo e sua economia. Onde você coloca o anúncio e quais itens você recompensa os jogadores afetam tanto os ganhos com anúncios quanto o engajamento.

O conjunto de métricas Ganhos de Vídeo Recompensado rastreia o desempenho dos anúncios juntamente com uma seleção de métricas padrão de engajamento, retenção e monetização, para que você possa garantir que a execução de anúncios não prejudique o restante do seu jogo. Use-o para:

  • Ajustar um anúncio recompensado. Teste uma recompensa maior ou uma colocação diferente e verifique se a taxa de opt-in e a frequência aumentam.
  • Verificar o trade-off. Se os ganhos com anúncios aumentam, verifique se o tempo de jogo, a retenção ou a conversão de pagadores diminuíram. Os ganhos totais por usuário mostram o efeito combinado de anúncios e microtransações.
  • Alcançar jogadores que não pagam. Teste se uma opção de anúncio traz ganhos de jogadores que não fizeram uma compra, sem diminuir o que seus pagadores gastam.

Configurar um experimento de ganhos de vídeo recompensado

Os experimentos de vídeo recompensado são experimentos em jogo, então funcionam como qualquer outro experimento em jogo. Você controla o recurso de anúncio, como o tamanho da recompensa ou a frequência do anúncio, com uma configuração. Cada variante tem um valor de configuração diferente, e seu código lê o valor com ConfigService:GetConfigForPlayerAsync(). Para mais informações, veja Adicionar experimentos ao seu código.

  1. Se você ainda não tiver uma configuração para o anúncio em vídeo recompensado que deseja testar, crie uma. Por exemplo, crie uma chave de configuração numérica adCooldownSeconds com seu tempo de cooldown atual como o valor de controle.

  2. Na página de Experimentos do Creator Hub para o seu jogo, clique em Criar experimento.

  3. Para Tipo, escolha Dentro da experiência.

  4. Para Conjunto de métricas, escolha Ganhos de Vídeo Recompensado. O Roblox define impressões por usuário e ganhos totais por usuário como as métricas de objetivo, então você não precisa escolher uma.

    Um experimento dentro da experiência com o conjunto de métricas Ganhos de Vídeo Recompensado selecionado
  5. Termine de configurar o experimento como de costume: duração, porcentagem de implementação, variantes, direcionamento e agendamento.

Métricas de ganhos de vídeo recompensado

O conjunto de métricas Ganhos de Vídeo Recompensado rastreia as seguintes métricas de anúncios, além de uma seleção das métricas padrão para que você possa verificar se os anúncios não prejudicam o engajamento, a retenção ou a monetização.

MétricaDescrição
Ganhos totais por usuárioGanhos por jogador de anúncios em vídeo recompensados e microtransações (produtos de desenvolvedor, passes, servidores privados e acesso pago). Cumulativo durante a duração do experimento.
Impressões por usuárioImpressões de anúncios por jogador. Cumulativo durante a duração do experimento.
Taxa de opt-inPorcentagem de jogadores elegíveis que assistiram pelo menos um anúncio.
FrequênciaImpressões de anúncios divididas por espectadores únicos.
Ganhos com anúncios por usuárioGanhos por jogador de anúncios em vídeo recompensados. Cumulativo durante a duração do experimento.

Direcionar experimentos para públicos específicos

Por padrão, um experimento em jogo pode inscrever qualquer jogador em sua porcentagem de implementação. Direcionamento permite que você execute o experimento em um público específico, como jogadores em certos países, janelas de tempo específicas ou níveis de gastadores ativos. O direcionamento usa os mesmos atributos que direcionamento de configuração.

Configurar experimentos direcionados

Você configura critérios de direcionamento ao criar o experimento. Depois que o experimento começa, você não pode alterar as regras de direcionamento, o valor de controle, as variantes ou quaisquer regras condicionais que a chave de configuração usa.

Você pode reutilizar regras condicionais existentes de suas configurações para definir seu direcionamento, mas o experimento armazena uma cópia independente de cada regra. Editar ou excluir a condição de configuração original mais tarde não terá efeito no direcionamento do experimento.

Como restringir seu público reduz seu tamanho de amostra, o Roblox atualiza o efeito mínimo detectável (MDE) usando uma estimativa do público que corresponde aos seus critérios de direcionamento. Certifique-se de que seu público direcionado seja grande o suficiente para produzir resultados estatisticamente significativos.

Como o Roblox resolve valores direcionados

O Roblox avalia experimentos primeiro, antes de quaisquer regras de configurações condicionais padrão. Quando uma chave de configuração tem um experimento ativo, o Roblox resolve o valor nesta ordem:

  1. O valor do experimento ativo, se o jogador for direcionado e inscrito.
  2. A primeira condição de configuração correspondente.
  3. Quaisquer condições de configuração correspondentes subsequentes.
  4. O valor padrão.

Os jogadores no grupo de controle recebem o valor que suas regras de configuração existentes produzem. Você não pode executar mais de um experimento ativo na mesma chave de configuração ao mesmo tempo.

Avaliação por sessão

O Roblox avalia atributos de direcionamento por sessão, então a elegibilidade de um jogador individual pode mudar ao longo do tempo:

  • Se um jogador corresponder aos seus critérios de direcionamento durante uma sessão, ele pode ser inscrito e receber uma variante do experimento.
  • Se ele não corresponder mais em uma sessão posterior, ele para de receber o valor do experimento e imediatamente volta às suas regras padrão de configuração. Se seu experimento precisar de continuidade além da elegibilidade—por exemplo, um fluxo de integração de várias sessões direcionado a novos jogadores—persista o valor você mesmo, como em um armazenamento de dados.

Os dados de um jogador permanecem atribuídos à variante (ou controle) em que ele foi inscrito, mesmo que ele pare de corresponder aos critérios mais tarde. Por exemplo, a retenção D7 ainda conta um jogador que se inscreveu no dia 0 e se retornou no dia 7, mesmo que ele não se qualifique mais até o dia 4.

Mudanças de configuração enquanto um experimento está em execução

Para evitar desvios de configuração e dados de experimento corrompidos, o Roblox bloqueia a chave de configuração no momento em que um experimento começa a ser executado:

  • Você não pode editar ou excluir a chave de configuração em execução, nem pode modificar seus valores condicionais padrão.
  • Quaisquer condições globais que a configuração ativa referencia também estão bloqueadas. Você não pode editar, excluir ou reordenar elas em relação umas às outras.

O bloqueio é liberado quando o experimento é concluído.

Adicionar experimentos ao seu código

Aplicar experimentos em jogo é semelhante a aplicar configurações. A principal diferença é o uso de ConfigService:GetConfigForPlayerAsync() em vez de ConfigService:GetConfigAsync().

GetConfigForPlayerAsync() recupera uma captura específica do jogador. Quando você chama GetValue(), a captura verifica se há um experimento ativo e inscreve (ou não inscreve) o usuário com base na porcentagem de implementação.

local ConfigService = game:GetService("ConfigService")
local Players = game:GetService("Players")
local function onPlayerAdded(player)
local playerConfig = ConfigService:GetConfigForPlayerAsync(player)
local leaderboardColor = playerConfig:GetValue("leaderboardColor")
end
Players.PlayerAdded:Connect(onPlayerAdded)
  • Você deve chamar GetConfigForPlayerAsync() separadamente para cada jogador; GetConfigAsync() não aplica experimentos.

  • Depois de chamar GetValue() em uma captura específica do jogador, o jogador associado à captura é inscrito no experimento para aquela chave e apenas aquela chave. Todas as chamadas subsequentes ao método retornam o mesmo controle ou variante durante a duração do experimento. Apenas a primeira chamada é aleatória.

  • A inscrição em experimentos não é limitada a novos usuários. Mesmo que um usuário tenha recebido anteriormente um valor de GetConfigAsync(), você ainda pode inscrevê-lo em um experimento usando uma captura específica do jogador de GetConfigForPlayerAsync().

  • Se uma chave em uma captura específica do jogador não tiver um experimento ativo, GetValue() retorna o valor padrão da configuração (ou nil se não tiver valor).

Inscrição personalizada

Se você quiser inscrever apenas jogadores que atendem a critérios baseados em estado em jogo, você precisa escrever código adicional para verificar esses critérios e só então chamar GetValue() para inscrevê-los no experimento. Considere o seguinte exemplo:

  • Você quer testar um novo esquema de controle em seu jogo de corrida.
  • O esquema é para jogadores avançados, então você quer direcionar jogadores que ganharam um grande número de corridas.

Seu código pode parecer algo assim:

local function getControlScheme(player, racesWon)
if racesWon < 20 then
return "standardScheme"
else
-- O jogador tem muitas vitórias, inscreva no experimento
local playerConfigSnapshot = ConfigService:GetConfigForPlayerAsync(player)
if playerConfigSnapshot:GetValue("useNewControlScheme") then
return "newScheme"
else
return "standardScheme"
end
end
end

Se você quiser que o esquema de controle persista em sessões subsequentes, provavelmente precisará adicionar um valor à entrada do jogador em um armazenamento de dados.

Ver e interpretar resultados

Clique em Ver para ver detalhes e resultados. Na aba Detalhes e Progresso, você pode ver o número total de jogadores inscritos, bem como o número de jogadores que receberam o valor de controle e cada variante. Visualizar esta página no início do experimento é útil estritamente para garantir que o experimento esteja funcionando corretamente, não para tomar ações. Antes de tomar ações, veja Melhores práticas.

A página de detalhes de um experimento

Métricas de dano precoce

Durante as primeiras 24 horas, ou até que os primeiros resultados diários cheguem, as métricas de dano precoce são atualizadas a cada 5 minutos para que você possa detectar danos críticos não intencionais rapidamente. Clique em Métricas para ver esses resultados. Procure métricas que causam danos críticos destacadas em vermelho.

Passe o mouse sobre uma métrica e clique em Ver confiança para ver o intervalo de confiança.

Resultados de Dano Precoce para um experimento

Durante esta janela, os resultados testam apenas por dano, então o intervalo de confiança não tem limite inferior, apenas um limite superior. Uma métrica é marcada como criticamente prejudicial apenas se todo o intervalo de confiança estiver abaixo do limite de dano crítico. No exemplo a seguir, o Tempo de Jogo está em -12,67% com um limite superior de -2,73%. Mesmo que a estimativa esteja abaixo do limite de dano crítico de -10% e todo o intervalo de confiança esteja abaixo de 0%, a métrica não é classificada como criticamente prejudicial porque o intervalo não está totalmente abaixo do limite de dano.

Intervalo de confiança para uma métrica de Dano Precoce

Use esses resultados apenas para orientar decisões de parada antecipada nas primeiras 24 horas. Não os use para decisões de lançamento, confie nos resultados diários em vez disso.

Limites de dano precoce

Cada métrica tem seu próprio limite de dano precoce. Se o aumento de uma variante cair abaixo desse limite, ela será classificada como criticamente prejudicial para essa métrica. No entanto, para comparações de variantes de métrica com menos de 10.000 jogadores inscritos entre a variante e o controle, os aumentos de variante são mostrados, mas as decisões sobre dano não serão tomadas até que o tamanho da amostra forneça dados suficientes para detectar danos de forma confiável.

MétricaLimite de dano precoce
Tempo de Jogo-10%
ARPU-20%
Taxa de Conversão de Pagadores-20%

Notificações de dano precoce

Se um dano crítico for detectado em seu experimento durante o período de análise de dano precoce, uma notificação é enviada ao proprietário do jogo e ao proprietário do experimento para ação antecipada. As notificações são entregues por e-mail, na bandeja de notificações do Creator Hub e através de um webhook opcional. Ao receber uma notificação de dano precoce, você deve revisar as métricas do experimento e decidir se o experimento deve ser interrompido antecipadamente.

Notificação do Creator Hub sobre Dano Precoce

Resultados diários

Depois que um experimento é executado por pelo menos 24 horas, clique em Resultados para ver os resultados mais recentes, que são atualizados a cada 24 horas. Procure mudanças estatisticamente significativas nas métricas de objetivo, que o painel destaca em verde ou vermelho. Essas mudanças são mais propensas a mostrar o impacto de sua variante e menos propensas a serem falsos positivos ou negativos.

A página de detalhes de um experimento

Uma métrica é estatisticamente significativa quando o intervalo de confiança para sua mudança percentual não se sobrepõe a 0%. No exemplo a seguir, o ARPU aumentou 2,37%, com limites inferior e superior de 0,55% e 4,19%, o que torna a mudança estatisticamente significativa.

Intervalo de confiança para uma métrica

Para conveniência, a página de resultados permite que você substitua o valor padrão da configuração por uma das variantes do experimento.

Desvio de proporção de amostra

Se seu experimento não estiver conseguindo inscrever usuários nas variantes nas proporções esperadas, um banner de alerta para Desvio de Proporção de Amostra (SRM) aparecerá na aba de resultados do experimento. Se o SRM for detectado, é recomendável parar e reiniciar seu experimento.

O SRM é verificado a cada 5 minutos durante as primeiras 24 horas do seu experimento e, em seguida, diariamente. O SRM pode invalidar os resultados do experimento; não tome decisões de lançamento com base em resultados comprometidos e não confiáveis.

Banner de Desvio de Proporção de Amostra

Tomar uma decisão

Quando seu experimento concluir, clique em Tomar decisão para iniciar um rollout guiado. O Roblox mostra quaisquer avisos sobre significância estatística e duração do experimento, e então solicita que você selecione uma variante vencedora ou mantenha o controle. Com base em sua escolha, o Roblox implementa a mudança apropriada em suas configurações permanentes; retornar à página de Configurações mostra o novo valor. Clique em Mudar vencedor se você mudar de ideia.

Se você tiver alterações em estágio não resolvidas na configuração quando concluir o experimento, o Roblox as armazena temporariamente e as restaura com base no melhor esforço após o rollout.

Sua decisão determina as mudanças de configuração que o Roblox propõe:

  • Controle: O Roblox não faz alterações em suas configurações existentes.
  • Variante não direcionada: O valor da variante se torna o novo valor padrão da configuração. O Roblox remove todas as outras condições nessa chave de configuração, embora elas permaneçam em sua lista de condições globais.
  • Variante direcionada: O Roblox integra a regra vencedora de volta à sua configuração permanente usando a primeira opção aplicável nesta ordem de prioridade:
    1. Sobrescrever: Se uma condição idêntica já estiver no topo da configuração, o Roblox sobrescreve seu valor com o valor da variante vencedora.
    2. Adicionar existente: Se uma condição global correspondente existir e naturalmente se sentar no topo, o Roblox a adiciona à configuração com o valor da variante.
    3. Promover: Se uma condição global correspondente puder ser promovida com segurança para a classificação mais baixa necessária para torná-la a regra principal nesta configuração (sem alterar outras configurações), o Roblox a adiciona à configuração e a reordena globalmente.
    4. Criar nova: Caso contrário, o Roblox cria uma nova condição global classificada um nível acima da condição mais alta atualmente usada na configuração. Se isso criar uma regra duplicada dentro da configuração, o Roblox remove o valor condicional redundante enquanto preserva a regra global.

Melhores práticas para experimentos

  • Use o efeito mínimo detectável (MDE) para decidir se seu experimento vale a pena ser executado.

    O Roblox calcula o MDE usando sua métrica de objetivo e o número de jogadores por variante, que é baseado em usuários ativos diários, porcentagem de implementação, duração do experimento e divisões de variante. Se o MDE for muito alto para sua métrica de objetivo (por exemplo, mais de 100%), é improvável que você consiga alcançar significância estatística. Jogos com menos de 1.000 usuários ativos diários podem ter dificuldades para obter dados úteis de experimentos.

    Tela de MDE insuficiente durante a criação.

  • Comece com uma hipótese. Em vez de apenas mudar uma variável e verificar os resultados, escreva uma declaração de causa e efeito sobre o que você mudou, o que espera que aconteça e por quê. À medida que você experimenta mais e mais, ter um conjunto de hipóteses escritas para acompanhar seus resultados pode ajudar a esclarecer seu pensamento e inspirar novas ideias para experimentos.

  • Deixe os experimentos rodarem por suas durações completas. O efeito de novidade (interesse temporário em uma mudança não porque é melhor, mas porque é nova) pode distorcer fortemente os resultados iniciais, às vezes fazendo com que eles oscilem dentro e fora da significância estatística. Encerrar experimentos precocemente aumenta as chances de você tomar ações prematuras com base em picos anômalos que mais dados teriam suavizado ou até contradito.

    • A exceção é o dano precoce nas primeiras 24 horas: se as métricas forem sinalizadas como criticamente prejudiciais ou você ver desvio de proporção de amostra, revise e considere parar. Não use resultados de dano precoce para decisões de lançamento.
  • Não aja sem significância estatística. Mesmo mudanças aparentemente grandes no comportamento do jogador podem não ser estatisticamente significativas, geralmente devido ao pequeno tamanho da amostra. Se uma mudança não for estatisticamente significativa, ignore-a.

  • Evite mudanças durante experimentos. Bugs maiores, é claro, precisam de correções, mas mudanças no conteúdo do jogo podem impactar o comportamento do jogador e invalidar seus resultados, mesmo que as mudanças pareçam não relacionadas ao seu experimento. Da mesma forma, execute experimentos simultaneamente apenas se você tiver certeza de que eles não interagirão entre si.

  • Use intervalos de confiança para análises profundas em métricas e para verificar casos limítrofes de significância estatística. Se o intervalo de confiança for muito amplo, a métrica pode nunca alcançar significância estatística.

  • Se uma métrica estiver significativamente alta e outra significativamente baixa, você deve decidir se o trade-off vale a pena, possivelmente em conjunto com outros movimentos estatisticamente significativos.

  • Experimentos fornecem um forte sinal, mas a significância estatística lida com probabilidades, não certezas—daí o intervalo de confiança. A variabilidade dos dados, o tamanho da amostra e a magnitude da mudança impactam a probabilidade de detectar se uma variante afetou o comportamento do jogador. Qualquer ação que você tome com base nos resultados de um experimento deve ser equilibrada com dados qualitativos, como feedback dos jogadores e sua visão geral para o jogo.

  • Documente suas descobertas e decisões. Mesmo que você não as use para executar experimentos adicionais, ter um corpo de conhecimento e evidências pode informar como você projeta seus jogos.

©2026 Roblox Corporation, Roblox, o logotipo Roblox e Powering Imagination estão entre nossas marcas registradas e não registradas nos EUA e em outros países.