Experiências

Experiências permitem que você execute testes A/B em jogo e de matchmaking para medir o impacto causal das mudanças em seu jogo. Por exemplo, você pode mostrar diferentes experiências de integração para diferentes jogadores e medir a diferença no tempo de jogo, retenção e outros indicadores-chave de desempenho.

As experiências são excelentes para medir o seguinte:

• Engajamento - Fluxos de integração, sistemas de progressão, esquemas de controle, matchmaking personalizado
• Monetização - Visibilidade da loja e experiência do usuário, tipos de pacotes iniciais, preços

Criar experiências

As experiências vêm em dois tipos:

• Experiências em jogo permitem que você meça o impacto de diferentes valores de configuração.
• Experiências de matchmaking permitem que você meça o impacto de diferentes configurações de matchmaking personalizadas. Diferente das experiências em jogo, você só pode executar uma experiência de matchmaking por vez.

1. Se você ainda não tiver uma configuração, crie uma para seu jogo.

2. Na página de Experiências do Creator Hub para seu jogo, clique em Criar experiência.

3. Para Tipo, escolha Dentro da experiência.

4. Especifique um nome, uma métrica de meta e a duração planejada para a experiência. As experiências duram entre 14-60 dias.

   Independentemente do que você escolher como sua métrica de meta, as experiências rastreiam todas as métricas na lista.

5. Escolha um percentual de implementação. Esse número é a porcentagem de jogadores que você deseja incluir na experiência.

   Em geral, quanto mais pessoas você incluir em uma experiência, melhores serão os dados, mas use seu julgamento sobre o que é melhor para seu jogo.

   Preste atenção ao efeito mínimo detectável, que é a menor mudança na métrica selecionada que a experiência pode detectar de forma confiável.

6. Especifique variantes e porcentagens.

   Variantes são valores alternativos para sua configuração. Para uma chave de configuração numérica bossHealth com um valor controle de 500, você pode especificar uma variante de 300. Você pode ter até duas variantes e um controle em uma experiência.

   Porcentagens ditam como atribuir variantes dentro da rolagem da experiência. Considere o seguinte exemplo:

   • Você escolhe uma rolagem geral de 40%.
   • Você especifica duas variantes e uma divisão 50/50 entre elas e o controle.

   Neste exemplo, 60% dos seus usuários são excluídos da experiência; esses usuários recebem o controle e não têm impacto nos resultados da experiência. Aproximadamente 20% dos seus usuários recebem o controle como parte da experiência. Outros 20% recebem a variante. Dependendo da sua contagem de jogadores, essa distribuição pode não ser grande o suficiente para gerar resultados acionáveis.

   Quando em dúvida, recomendamos experiências simples de 50/50 com uma variante e um controle em grandes implementações. As experiências são mais fáceis de configurar, e os resultados são mais fáceis de interpretar.

   

7. O passo final é agendar. Você pode iniciar experiências imediatamente ou agendá-las para uma data e hora futuras. Depois de agendar uma experiência, você não pode alterar sua configuração (duração, percentual de rolagem, variantes, etc.), mas pode reagendá-la.

Métricas

As experiências rastreiam todas as seguintes métricas durante a duração da experiência.

Status da experiência

A página de Experiências mostra os seguintes status para as experiências.

Adicionar experiências ao seu código

Aplicar experiências em jogo é semelhante a aplicar configurações. A principal diferença é o uso de ConfigService:GetConfigForPlayerAsync() em vez de ConfigService:GetConfigAsync().

GetConfigForPlayerAsync() recupera uma captura específica do jogador. Quando você chama GetValue(), a captura verifica se há uma experiência ativa e inscreve (ou não inscreve) o usuário com base no percentual de rolagem.

local ConfigService = game:GetService("ConfigService")
local Players = game:GetService("Players")

local function onPlayerAdded(player)
    local playerConfig = ConfigService:GetConfigForPlayerAsync(player)
    local leaderboardColor = playerConfig:GetValue("leaderboardColor")
end

Players.PlayerAdded:Connect(onPlayerAdded)

• Você deve chamar GetConfigForPlayerAsync() separadamente para cada jogador; GetConfigAsync() não aplica experiências.

• Após você chamar GetValue() em uma captura exclusiva do jogador, o jogador associado à captura é inscrito na experiência para essa chave e essa chave apenas. Todas as chamadas subsequentes ao método retornam o mesmo controle ou variante durante a duração da experiência. Apenas a primeira chamada é aleatória.

  Espere para chamar GetValue() até que você precise dele. Chamar GetValue() muito cedo pode fazer com que você inscreva jogadores que nunca interagem com a parte do jogo que você está testando.

• A inscrição em experiências não se limita a novos usuários. Mesmo que um usuário tenha recebido anteriormente um valor de GetConfigAsync(), você ainda pode inscrevê-lo em uma experiência usando uma captura específica do jogador de GetConfigForPlayerAsync().

• Se uma chave em uma captura específica do jogador não tiver uma experiência ativa, GetValue() retorna o valor padrão da configuração (ou nil se não houver valor).

Inscrição direcionada

Se você quiser direcionar uma parte dos seus jogadores que atendam a critérios específicos, você precisa escrever código adicional para verificar esses critérios e só então chamar GetValue() para inscrevê-los na experiência. Considere o seguinte exemplo:

• Você quer testar um novo esquema de controle em seu jogo.
• Você não quer incluir jogadores existentes (que presumivelmente estão acostumados ao esquema existente), apenas jogadores novos.

Seu código pode se parecer com isso:

local function getControlScheme(player, racesCompleted)
    if racesCompleted > 0 then
        return "standardScheme"
    else
        -- O jogador é novo, inscreve na experiência
        local playerConfigSnapshot = ConfigService:GetConfigForPlayerAsync(player)
        if playerConfigSnapshot:GetValue("useNewControlScheme") then
            return "newScheme"
        else
            return "standardScheme"
        end
    end
end

Se você quiser que o esquema de controle persista em sessões subsequentes, provavelmente precisará adicionar um valor à entrada do jogador em um armazenamento de dados.

Visualizar e interpretar resultados

Depois que uma experiência tiver sido executada por pelo menos 24 horas, clique em Visualizar para ver detalhes e resultados.

Você pode ver o número total de jogadores inscritos, bem como o número de jogadores que receberam o valor de controle e cada variante. Visualizar esta página no início da experiência é útil apenas para garantir que a experiência está funcionando corretamente, não para tomar ações. Antes de tomar medidas, veja Melhores práticas.

Depois que a experiência for concluída, verifique a guia Resultados. Procure mudanças estatisticamente significativas nas métricas de meta, que o painel destaca em verde ou vermelho. Essas mudanças são mais propensas a mostrar o impacto de sua variante e menos propensas a ser falsos positivos ou negativos.

Passe o mouse sobre qualquer métrica para ver o botão Ver confiança, que mostra o intervalo de confiança.

Uma métrica é estatisticamente significativa quando o intervalo de confiança para sua mudança percentual não se sobrepõe a 0%. No exemplo a seguir, a retenção D1 aumentou 17,4%, com limites inferior e superior de 8,02% e 22,03%, o que torna a mudança estatisticamente significativa.

Para conveniência, a página de resultados permite que você substitua o valor padrão da configuração por uma das variantes da experiência. Clique em Tomar decisão para escolher uma variante ou Mudar vencedor se você mudar de ideia. Se você então retornar à página de Configurações, deverá ver o novo valor.

Melhores práticas para experiências

• Use o efeito mínimo detectável (MDE) para decidir se sua experiência vale a pena ser realizada.

  O Roblox calcula o MDE usando sua métrica de meta e o número de jogadores por variante, baseado em usuários ativos diários, percentual de rolagem, duração da experiência e divisões de variantes. Se o MDE for muito alto para sua métrica de meta (por exemplo, mais de 100%), é improvável que você alcance a significância estatística. Jogos com menos de 1.000 usuários ativos diários podem ter dificuldade em obter dados úteis de experiências.

  

• Comece com uma hipótese. Em vez de apenas mudar uma variável e verificar os resultados, escreva uma declaração de causa e efeito sobre o que você mudou, o que espera que aconteça e por quê. À medida que você experimenta mais e mais, ter um conjunto de hipóteses escritas para acompanhar seus resultados pode ajudar a esclarecer seu pensamento e gerar novas ideias para experiências.

• Deixe as experiências rodarem por suas durações completas. O efeito de novidade (interesse temporário em uma mudança não porque é melhor, mas porque é nova) pode distorcer muito os resultados iniciais, fazendo com que oscilem dentro e fora da significância estatística. Encerrar experiências rapidamente aumenta as chances de você tomar ações prematuras com base em picos anômalos que mais dados teriam suavizado ou até contradito.

• Não aja sem significância estatística. Mesmo mudanças aparentemente grandes no comportamento dos jogadores podem não ser estatisticamente significativas, geralmente devido ao pequeno tamanho da amostra. Se uma mudança não for estatisticamente significativa, ignore-a.

• Evite mudanças durante as experiências. Bugs importantes, é claro, precisam de correções, mas mudanças no conteúdo da experiência podem impactar o comportamento dos jogadores e invalidar seus resultados, mesmo que as mudanças pareçam não relacionadas à sua experiência. Da mesma forma, execute experiências simultaneamente apenas se tiver certeza de que elas não interagirão entre si.

• Use intervalos de confiança para investigações profundas em métricas e verificar casos limítrofes de significância estatística. Se o intervalo de confiança for muito amplo, a métrica pode nunca alcançar a significância estatística.

• Se uma métrica estiver significativamente alta e outra significativamente baixa, você deve decidir se a troca vale a pena, possivelmente em conjunto com outros movimentos estatisticamente significativos.

• Experiências fornecem um sinal forte, mas a significância estatística opera em probabilidades, não em certezas—daí o intervalo de confiança. A variabilidade dos dados, o tamanho da amostra e a magnitude da mudança impactam a probabilidade de detectar se uma variante afetou o comportamento do jogador. Qualquer ação que você tome com base nos resultados de uma experiência deve ser equilibrada com dados qualitativos, como feedback dos jogadores e sua visão geral para o jogo.

• Documente suas descobertas e decisões. Mesmo que você não as use para realizar experiências adicionais, ter um corpo de conhecimento e evidências pode informar como você projeta seus jogos.