Experimentos

Experimentos te permiten realizar pruebas A/B en el juego y en el emparejamiento para medir el impacto causal de los cambios en tu juego. Por ejemplo, puedes mostrar diferentes experiencias de incorporación a diferentes jugadores y medir la diferencia en tiempo de juego, retención y otros indicadores clave de rendimiento.

Los experimentos son excelentes para medir lo siguiente:

• Compromiso - Flujos de incorporación, sistemas de progresión, esquemas de control, emparejamiento personalizado
• Monetización - Visibilidad de la tienda y experiencia del usuario, tipos de paquetes iniciales, precios

Crear experimentos

Los experimentos vienen en dos tipos:

• Los experimentos en el juego te permiten medir el impacto de diferentes valores de configuración.
• Los experimentos de emparejamiento te permiten medir el impacto de diferentes configuraciones de emparejamiento personalizadas. A diferencia de los experimentos en el juego, solo puedes ejecutar un experimento de emparejamiento a la vez.

1. Si aún no tienes una configuración, crea una para tu juego.

2. En la página de Experimentos de tu juego en el Creator Hub, haz clic en Crear experimento.

3. Para Tipo, elige En la experiencia.

4. Especifica un nombre, una métrica objetivo y una duración planificada para el experimento. Los experimentos se ejecutan durante entre 14 y 60 días.

   Independientemente de lo que elijas como tu métrica objetivo, los experimentos rastrean todas las métricas en la lista.

5. Elige un porcentaje de implementación. Este número es el porcentaje de jugadores que deseas incluir en el experimento.

   En general, cuantas más personas incluyas en un experimento, mejores serán los datos, pero usa tu criterio sobre lo que es mejor para tu juego.

   Presta atención al efecto mínimo detectable, que es el cambio más pequeño en la métrica seleccionada que el experimento puede detectar de manera confiable.

6. Especifica variantes y porcentajes.

   Las variantes son valores alternativos para tu configuración. Para una clave de configuración numérica bossHealth con un valor de control de 500, podrías especificar una variante de 300. Puedes tener hasta dos variantes y un control en un experimento.

   Los porcentajes dictan cómo asignar variantes dentro de la implementación del experimento. Considera el siguiente ejemplo:

   • Elegiste una implementación general del 40%.
   • Especificaste dos variantes y una división 50/50 entre ellas y el control.

   En este ejemplo, el 60% de tus usuarios están excluidos del experimento; estos usuarios reciben el control y no tienen impacto en los resultados del experimento. Aproximadamente el 20% de tus usuarios reciben el control como parte del experimento. Otro 20% recibe la variante. Dependiendo de tu cuenta de jugadores, esta distribución podría no ser lo suficientemente grande como para generar resultados procesables.

   Cuando tengas dudas, recomendamos experimentos simples 50/50 de una variante y un control en implementaciones grandes. Los experimentos son más fáciles de configurar y los resultados son más fáciles de interpretar.

   

7. El último paso es la programación. Puedes comenzar los experimentos de inmediato o programarlos para una fecha y hora posterior. Después de programar un experimento, no puedes cambiar su configuración (duración, porcentaje de implementación, variantes, etc.), pero puedes reprogramarlo.

Métricas

Los experimentos rastrean todas las siguientes métricas a lo largo de la duración del experimento.

Estado del experimento

La página de Experimentos muestra los siguientes estados para los experimentos.

Agregar experimentos a tu código

Aplicar experimentos en el juego es similar a aplicar configuraciones. La principal diferencia es el uso de ConfigService:GetConfigForPlayerAsync() en lugar de ConfigService:GetConfigAsync().

GetConfigForPlayerAsync() recupera una instantánea específica del jugador. Cuando llamas a GetValue(), la instantánea verifica si existe un experimento activo y matricula (o no matricula) al usuario en función del porcentaje de implementación.

local ConfigService = game:GetService("ConfigService")
local Players = game:GetService("Players")

local function onPlayerAdded(player)
    local playerConfig = ConfigService:GetConfigForPlayerAsync(player)
    local leaderboardColor = playerConfig:GetValue("leaderboardColor")
end

Players.PlayerAdded:Connect(onPlayerAdded)

• Debes llamar a GetConfigForPlayerAsync() por separado para cada jugador; GetConfigAsync() no aplica experimentos.

• Después de llamar a GetValue() en una instantánea específica del jugador, el jugador asociado con la instantánea se matricula en el experimento para esa clave y solo esa clave. Todas las llamadas posteriores al método devuelven el mismo control o variante durante la duración del experimento. Solo la primera llamada es aleatoria.

  Espera para llamar a GetValue() hasta que lo necesites. Llamar a GetValue() demasiado pronto puede hacer que matricules a jugadores que nunca interactúan con la parte del juego en la que estás experimentando.

• La matrícula en experimentos no se limita a nuevos usuarios. Incluso si un usuario ha recibido previamente un valor de GetConfigAsync(), aún puedes matricularlo en un experimento utilizando una instantánea específica del jugador de GetConfigForPlayerAsync().

• Si una clave en una instantánea específica del jugador no tiene un experimento activo, GetValue() devuelve el valor de configuración estándar (o nil si no tiene valor).

Matrícula dirigida

Si deseas dirigirte a una parte de tus jugadores que cumplan con criterios específicos, debes escribir código adicional para verificar esos criterios y solo entonces llamar a GetValue() para matricularlos en el experimento. Considera el siguiente ejemplo:

• Quieres probar un nuevo esquema de control en tu juego.
• No deseas incluir a jugadores existentes (que presumiblemente están acostumbrados al esquema existente), solo a nuevos jugadores.

Tu código podría verse algo así:

local function getControlScheme(player, racesCompleted)
    if racesCompleted > 0 then
        return "standardScheme"
    else
        -- El jugador es nuevo, matricular en el experimento
        local playerConfigSnapshot = ConfigService:GetConfigForPlayerAsync(player)
        if playerConfigSnapshot:GetValue("useNewControlScheme") then
            return "newScheme"
        else
            return "standardScheme"
        end
    end
end

Si deseas que el esquema de control persista en sesiones subsiguientes, probablemente necesites agregar un valor a la entrada del jugador en un almacenamiento de datos.

Ver e interpretar resultados

Después de que un experimento haya estado en funcionamiento durante al menos 24 horas, haz clic en Ver para ver detalles y resultados.

Puedes ver el número total de jugadores matriculados, así como el número de jugadores que recibieron el valor de control y cada variante. Ver esta página temprano en el experimento es útil estrictamente para asegurarte de que el experimento está funcionando correctamente, no para tomar medidas. Antes de tomar medidas, consulta Mejores prácticas.

Después de completar el experimento, revisa la pestaña Resultados. Busca cambios estadísticamente significativos en las métricas objetivo, que el panel resalta en verde o rojo. Estos cambios son más propensos a mostrar el impacto de tu variante y menos propensos a ser falsos positivos o negativos.

Pasa el cursor sobre cualquier métrica para ver el botón Ver confianza, que muestra el intervalo de confianza.

Una métrica es estadísticamente significativa cuando el intervalo de confianza para su cambio porcentual no se superpone con el 0%. En el siguiente ejemplo, la retención D1 ha aumentado un 17.4%, con límites inferior y superior del 8.02% y 22.03%, lo que hace que el cambio sea estadísticamente significativo.

Para mayor comodidad, la página de resultados te permite reemplazar el valor de configuración predeterminado con uno de las variantes del experimento. Haz clic en Tomar decisión para elegir una variante o Cambiar ganador si cambias de opinión. Si luego regresas a la página de Configuraciones, deberías ver el nuevo valor.

Mejores prácticas para experimentos

• Utiliza el efecto mínimo detectable (MDE) para decidir si tu experimento vale la pena.

  Roblox calcula el MDE utilizando tu métrica objetivo y el número de jugadores por variante, que se basa en usuarios activos diarios, porcentaje de implementación, duración del experimento y divisiones de variante. Si el MDE es demasiado alto para tu métrica objetivo (por ejemplo, más del 100%), es poco probable que puedas alcanzar la significancia estadística. Los juegos con menos de 1,000 usuarios activos diarios pueden tener dificultades para obtener datos útiles de los experimentos.

  

• Comienza con una hipótesis. En lugar de simplemente cambiar una variable y revisar los resultados, escribe una declaración de causa y efecto sobre lo que cambiaste, lo que esperas que suceda y por qué. A medida que experimentas más, tener un conjunto de hipótesis escritas que acompañen a tus resultados puede ayudar a aclarar tu pensamiento y provocar nuevas ideas para experimentos.

• Deja que los experimentos se ejecuten durante su duración completa. El efecto de novedad (interés temporal en un cambio no porque sea mejor, sino porque es nuevo) puede distorsionar significativamente los resultados iniciales, a veces causando que fluctúen en y fuera de la significancia estadística. Terminar los experimentos antes de tiempo aumenta las probabilidades de que tomes acciones prematuras basadas en picos anómalos que más datos habrían suavizado o incluso contradicho.

• No actúes sin significancia estadística. Incluso cambios que parecen grandes en el comportamiento de los jugadores pueden no ser estadísticamente significativos, generalmente debido a un tamaño de muestra pequeño. Si un cambio no es estadísticamente significativo, ignóralo.

• Evita cambios durante los experimentos. Por supuesto, los errores importantes necesitan correcciones, pero los cambios en el contenido del experimento pueden impactar el comportamiento de los jugadores y invalidar tus resultados, incluso si los cambios parecen no estar relacionados con tu experimento. De la misma manera, solo ejecuta experimentos simultáneamente si confías en que no interactuarán entre sí.

• Utiliza intervalos de confianza para análisis profundos en métricas y para comprobar casos límite de significancia estadística. Si el intervalo de confianza es demasiado amplio, la métrica podría nunca alcanzar la significancia estadística.

• Si una métrica está significativamente al alza y otra significativamente a la baja, debes decidir si la compensación merece la pena, posiblemente en conjunto con otros movimientos estadísticamente significativos.

• Los experimentos proporcionan una señal fuerte, pero la significancia estadística trata de probabilidades, no de certezas—de ahí el intervalo de confianza. La variabilidad de los datos, el tamaño de la muestra y la magnitud del cambio impactan la probabilidad de detectar si una variante afectó el comportamiento del jugador. Cualquier acción que tomes basada en los resultados de un experimento debe equilibrarse con datos cualitativos como la retroalimentación de los jugadores y tu visión general para el juego.

• Documenta tus hallazgos y decisiones. Incluso si no los usas para realizar experimentos adicionales, tener un cuerpo de conocimiento y evidencia puede informar cómo diseñas tus juegos.