Experimentos

Experimentos te permiten realizar pruebas A/B en el juego y en la emparejamiento para medir el impacto causal de los cambios en tu juego. Por ejemplo, puedes mostrar diferentes experiencias de incorporación a diferentes jugadores y medir la diferencia en el tiempo de juego, la retención y otros indicadores clave de rendimiento.

Los experimentos son excelentes para medir lo siguiente:

• Compromiso - Flujos de incorporación, sistemas de progresión, esquemas de control, emparejamiento personalizado
• Monetización - Visibilidad de la tienda y experiencia del usuario, tipos de paquetes de inicio, precios

Crear experimentos

Los experimentos vienen en dos tipos:

• Experimentos en el juego te permiten medir el impacto de diferentes valores de configuración.
• Experimentos de emparejamiento te permiten medir el impacto de diferentes configuraciones de emparejamiento personalizado. A diferencia de los experimentos en el juego, solo puedes ejecutar un experimento de emparejamiento a la vez.

1. Si aún no tienes una configuración, crea una para tu juego.

2. En la página de Experimentos del Creator Hub para tu juego, haz clic en Crear experimento.

3. Para Tipo, elige En-experiencia.

4. Especifica un nombre, una métrica objetivo y una duración planificada para el experimento. Los experimentos se ejecutan durante un período de 14 a 60 días.

   Independientemente de lo que elijas como tu métrica objetivo, los experimentos rastrean todas las métricas en la lista.

5. Elige un porcentaje de implementación. Este número es el porcentaje de jugadores que deseas incluir en el experimento.

   En general, cuanto más personas incluyas en un experimento, mejor será la calidad de los datos, pero usa tu criterio sobre lo que es mejor para tu juego.

   Presta atención al efecto mínimo detectable, que es el cambio más pequeño en la métrica seleccionada que el experimento puede detectar de manera confiable.

6. Especifica variantes y porcentajes.

   Las variantes son valores alternativos para tu configuración. Para una clave de configuración numérica bossHealth con un valor de control de 500, podrías especificar una variante de 300. Puedes tener hasta dos variantes y un control en un experimento.

   Los porcentajes dictan cómo asignar variantes dentro de la implementación del experimento. Considera el siguiente ejemplo:

   • Eliges una implementación general del 40%.
   • Especificas dos variantes y una división 50/50 entre ellas y el control.

   En este ejemplo, el 60% de tus usuarios están excluidos del experimento; estos usuarios reciben el control y no tienen impacto en los resultados del experimento. Aproximadamente el 20% de tus usuarios reciben el control como parte del experimento. Otro 20% recibe la variante. Dependiendo de tu número de jugadores, esta distribución podría no ser lo suficientemente grande como para generar resultados útiles.

   Cuando tengas dudas, recomendamos experimentos simples 50/50 de una variante y un control en implementaciones grandes. Los experimentos son más fáciles de configurar y los resultados son más fáciles de interpretar.

   

7. El paso final es la programación. Puedes comenzar los experimentos de inmediato o programarlos para una fecha y hora posteriores. Después de programar un experimento, no puedes cambiar su configuración (duración, porcentaje de implementación, variantes, etc.), pero puedes reprogramarlo.

Métricas

Los experimentos rastrean todas las siguientes métricas durante la duración del experimento.

Estado del experimento

La página de Experimentos muestra los siguientes estados para los experimentos.

Agregar experimentos a tu código

Aplicar experimentos en el juego es similar a aplicar configuraciones. La principal diferencia es el uso de ConfigService:GetConfigForPlayerAsync() en lugar de ConfigService:GetConfigAsync().

GetConfigForPlayerAsync() recupera una instantánea específica del jugador. Cuando llamas a GetValue(), la instantánea verifica si hay un experimento activo y se inscribe (o no se inscribe) al usuario según el porcentaje de implementación.

local ConfigService = game:GetService("ConfigService")
local Players = game:GetService("Players")

local function onPlayerAdded(player)
    local playerConfig = ConfigService:GetConfigForPlayerAsync(player)
    local leaderboardColor = playerConfig:GetValue("leaderboardColor")
end

Players.PlayerAdded:Connect(onPlayerAdded)

• Debes llamar a GetConfigForPlayerAsync() por separado para cada jugador; GetConfigAsync() no aplica experimentos.

• Después de llamar a GetValue() en una instantánea específica del jugador, el jugador asociado con la instantánea se inscribe en el experimento para esa clave y solo para esa clave. Todas las llamadas posteriores al método devuelven el mismo control o variante durante la duración del experimento. Solo la primera llamada es aleatoria.

  Espera para llamar a GetValue() hasta que lo necesites. Llamar a GetValue() demasiado pronto puede hacer que inscribas a jugadores que nunca interactúan con la parte del juego en la que estás experimentando.

• La inscripción en experimentos no se limita a nuevos usuarios. Incluso si un usuario recibió previamente un valor de GetConfigAsync(), aún puedes inscribirlo en un experimento utilizando una instantánea específica del jugador de GetConfigForPlayerAsync().

• Si una clave en una instantánea específica del jugador no tiene un experimento activo, GetValue() devuelve el valor de configuración estándar (o nil si no tiene valor).

Inscripción dirigida

Si deseas dirigirte a alguna parte de tus jugadores que cumplan con criterios específicos, debes escribir código adicional para verificar esos criterios y solo entonces llamar a GetValue() para inscribirlos en el experimento. Considera el siguiente ejemplo:

• Quieres probar un nuevo esquema de control en tu juego.
• No deseas incluir a los jugadores existentes (que presumiblemente están acostumbrados al esquema existente), solo a los nuevos jugadores.

Tu código podría verse algo así:

local function getControlScheme(player, racesCompleted)
    if racesCompleted > 0 then
        return "standardScheme"
    else
        -- El jugador es nuevo, inscribir en el experimento
        local playerConfigSnapshot = ConfigService:GetConfigForPlayerAsync(player)
        if playerConfigSnapshot:GetValue("useNewControlScheme") then
            return "newScheme"
        else
            return "standardScheme"
        end
    end
end

Si deseas que el esquema de control persista en sesiones posteriores, probablemente necesites agregar un valor a la entrada del jugador en un almacén de datos.

Ver e interpretar resultados

Después de que un experimento haya estado en ejecución durante al menos 24 horas, haz clic en Ver para ver detalles y resultados.

Puedes ver el número total de jugadores inscritos, así como el número de jugadores que recibieron el valor de control y cada variante. Ver esta página al principio del experimento es útil estrictamente para asegurarte de que el experimento esté funcionando correctamente, no para tomar acciones. Antes de tomar acciones, consulta Mejores prácticas.

Después de que el experimento esté completo, revisa la pestaña Resultados. Busca cambios estadísticamente significativos en las métricas objetivo, que el panel destaca en verde o rojo. Estos cambios son más propensos a mostrar el impacto de tu variante y menos propensos a ser falsos positivos o negativos.

Pasa el cursor sobre cualquier métrica para ver el botón Ver confianza, que muestra el intervalo de confianza.

Una métrica es estadísticamente significativa cuando el intervalo de confianza para su cambio porcentual no se superpone con el 0%. En el siguiente ejemplo, la retención D1 ha aumentado un 17.4%, con límites inferior y superior de 8.02% y 22.03%, lo que hace que el cambio sea estadísticamente significativo.

Para conveniencia, la página de resultados te permite reemplazar el valor de configuración predeterminado con una de las variantes del experimento. Haz clic en Tomar decisión para elegir una variante o Cambiar ganador si cambias de opinión. Si luego regresas a la página de Configuraciones, deberías ver el nuevo valor.

Mejores prácticas para experimentos

• Utiliza el efecto mínimo detectable (MDE) para decidir si tu experimento vale la pena.

  Roblox calcula el MDE utilizando tu métrica objetivo y el número de jugadores por variante, que se basa en usuarios activos diarios, porcentaje de implementación, duración del experimento y divisiones de variantes. Si el MDE es demasiado alto para tu métrica objetivo (por ejemplo, más del 100%), es poco probable que alcances significancia estadística. Los juegos con menos de 1,000 usuarios activos diarios pueden tener dificultades para obtener datos útiles de los experimentos.

  

• Comienza con una hipótesis. En lugar de simplemente cambiar una variable y verificar los resultados, escribe una declaración de causa y efecto sobre lo que cambiaste, lo que esperas que suceda y por qué. A medida que experimentas más, tener un conjunto de hipótesis escritas para acompañar tus resultados puede ayudar a aclarar tu pensamiento y generar nuevas ideas para experimentos.

• Deja que los experimentos se ejecuten durante su duración completa. El efecto de novedad (interés temporal en un cambio no porque sea mejor, sino porque es nuevo) puede distorsionar fuertemente los resultados iniciales, a veces haciendo que oscilen dentro y fuera de la significancia estadística. Terminar los experimentos antes de tiempo aumenta las probabilidades de que tomes acciones prematuras basadas en picos anómalos que más datos habrían suavizado o incluso contradicho.

• No actúes sin significancia estadística. Incluso cambios aparentemente grandes en el comportamiento de los jugadores pueden no ser estadísticamente significativos, generalmente debido a un tamaño de muestra pequeño. Si un cambio no es estadísticamente significativo, ignóralo.

• Evita cambios durante los experimentos. Los errores importantes, por supuesto, necesitan correcciones, pero los cambios en el contenido del juego pueden impactar el comportamiento del jugador e invalidar tus resultados, incluso si los cambios parecen no estar relacionados con tu experimento. De manera similar, solo ejecuta experimentos simultáneamente si estás seguro de que no interactuarán entre sí.

• Utiliza intervalos de confianza para profundizar en las métricas y verificar casos límite de significancia estadística. Si el intervalo de confianza es demasiado amplio, la métrica podría nunca alcanzar significancia estadística.

• Si una métrica está significativamente en aumento y otra significativamente en disminución, debes decidir si la compensación vale la pena, posiblemente en conjunto con otros movimientos estadísticamente significativos.

• Los experimentos proporcionan una señal fuerte, pero la significancia estadística trata de probabilidades, no de certezas—de ahí el intervalo de confianza. La variabilidad de los datos, el tamaño de la muestra y la magnitud del cambio impactan la probabilidad de detectar si una variante afectó el comportamiento del jugador. Cualquier acción que tomes basada en los resultados de un experimento debe equilibrarse con datos cualitativos como la retroalimentación de los jugadores y tu visión general para el juego.

• Documenta tus hallazgos y decisiones. Incluso si no los usas para realizar experimentos adicionales, tener un cuerpo de conocimiento y evidencia puede informar cómo diseñas tus juegos.