Experimentos

Experimentos te permiten realizar pruebas A/B en el juego y en la emparejamiento para medir el impacto causal de los cambios en tu juego. Por ejemplo, puedes mostrar diferentes experiencias de incorporación a diferentes jugadores y medir la diferencia en el tiempo de juego, la retención y otros indicadores clave de rendimiento.

Los experimentos son excelentes para medir lo siguiente:

• Compromiso - Flujos de incorporación, sistemas de progresión, esquemas de control, emparejamiento personalizado
• Monetización - Visibilidad de la tienda y experiencia del usuario, tipos de paquetes de inicio, precios

Crear experimentos

Los experimentos vienen en dos tipos:

• Experimentos en el juego te permiten medir el impacto de diferentes valores de configuración.
• Experimentos de emparejamiento te permiten medir el impacto de diferentes configuraciones de emparejamiento personalizadas. A diferencia de los experimentos en el juego, solo puedes ejecutar un experimento de emparejamiento a la vez.

1. Si aún no tienes una configuración, crea una para tu juego.

2. En la página de Experimentos del Creator Hub para tu juego, haz clic en Crear experimento.

3. Para Tipo, elige En-experiencia.

4. Especifica un nombre, una métrica objetivo y una duración planificada para el experimento. Los experimentos se ejecutan durante entre 14 y 60 días.

   Independientemente de lo que elijas como tu métrica objetivo, los experimentos rastrean todas las métricas en la lista.

5. Elige un porcentaje de implementación. Este número es el porcentaje de jugadores que deseas incluir en el experimento.

   En general, cuanto más personas incluyas en un experimento, mejor será la calidad de los datos, pero usa tu juicio sobre lo que es mejor para tu juego.

   Presta atención al efecto mínimo detectable, que es el cambio más pequeño en la métrica seleccionada que el experimento puede detectar de manera confiable.

6. Especifica variantes y porcentajes.

   Las variantes son valores alternativos para tu configuración. Para una clave de configuración numérica bossHealth con un valor de control de 500, podrías especificar una variante de 300. Puedes tener hasta dos variantes y un control en un experimento.

   Los porcentajes dictan cómo asignar variantes dentro de la implementación del experimento. Considera el siguiente ejemplo:

   • Eliges una implementación general del 40%.
   • Especificas dos variantes y una división 50/50 entre ellas y el control.

   En este ejemplo, el 60% de tus usuarios están excluidos del experimento; estos usuarios reciben el control y no tienen impacto en los resultados del experimento. Aproximadamente el 20% de tus usuarios reciben el control como parte del experimento. Otro 20% recibe la variante. Dependiendo de tu número de jugadores, esta distribución puede no ser lo suficientemente grande como para generar resultados accionables.

   Cuando tengas dudas, recomendamos experimentos simples 50/50 de una variante y un control en implementaciones grandes. Los experimentos son más fáciles de configurar y los resultados son más fáciles de interpretar.

   

7. (Opcional) Dirige el experimento a una audiencia específica para que solo los jugadores coincidentes sean elegibles para la inscripción. La segmentación utiliza los mismos atributos de jugador que las configuraciones condicionales, y puedes copiar condiciones existentes directamente de tus configuraciones. Para más información, consulta Dirigir experimentos a audiencias específicas.

   

8. El paso final es la programación. Puedes comenzar los experimentos de inmediato o programarlos para una fecha y hora posteriores. Después de programar un experimento, no puedes cambiar su configuración (duración, porcentaje de implementación, variantes, etc.), pero puedes reprogramarlo.

Métricas

Los experimentos rastrean todas las siguientes métricas durante la duración del experimento.

Estado del experimento

La página de Experimentos muestra los siguientes estados para los experimentos.

Dirigir experimentos a audiencias específicas

Por defecto, un experimento en el juego puede inscribir a cualquier jugador en tu porcentaje de implementación. La segmentación te permite ejecutar el experimento en una audiencia específica en su lugar, como jugadores en ciertos países, ventanas de antigüedad específicas o niveles de gasto activo. La segmentación utiliza los mismos atributos que la segmentación de configuraciones.

Configurar experimentos dirigidos

Configuras los criterios de segmentación cuando creas el experimento. Después de que el experimento comience, no puedes cambiar las reglas de segmentación, el valor de control, las variantes o cualquier regla condicional que utilice la clave de configuración.

Puedes reutilizar reglas condicionales existentes de tus configuraciones para definir tu segmentación, pero el experimento almacena una copia independiente de cada regla. Editar o eliminar la condición de configuración original más tarde no tiene efecto en la segmentación del experimento.

Debido a que reducir tu audiencia disminuye tu tamaño de muestra, Roblox actualiza el efecto mínimo detectable (MDE) utilizando una estimación de la audiencia que coincide con tus criterios de segmentación. Asegúrate de que tu audiencia dirigida sea lo suficientemente grande como para producir resultados estadísticamente significativos.

Cómo Roblox resuelve valores dirigidos

Roblox evalúa los experimentos primero, antes de cualquier regla de configuraciones condicionales estándar. Cuando una clave de configuración tiene un experimento activo, Roblox resuelve el valor en este orden:

1. El valor del experimento activo, si el jugador está dirigido e inscrito.
2. La primera condición de configuración coincidente.
3. Cualquier condición de configuración coincidente subsiguiente.
4. El valor predeterminado.

Los jugadores en el grupo de control reciben el valor que producen tus reglas de configuración existentes. No puedes ejecutar más de un experimento activo en la misma clave de configuración a la vez.

Evaluación por sesión

Roblox evalúa los atributos de segmentación por sesión, por lo que la elegibilidad de un jugador individual puede cambiar con el tiempo:

• Si un jugador coincide con tus criterios de segmentación durante una sesión, puede ser inscrito y recibir una variante del experimento.
• Si ya no coincide en una sesión posterior, deja de recibir el valor del experimento y vuelve inmediatamente a tus reglas de configuración estándar. Si tu experimento necesita continuidad más allá de la elegibilidad—por ejemplo, un flujo de incorporación de múltiples sesiones dirigido a nuevos jugadores—persiste el valor tú mismo, como en un almacenamiento de datos.

Los datos de un jugador permanecen atribuidos a la variante (o control) en la que fue inscrito, incluso si más tarde deja de coincidir con los criterios. Por ejemplo, la retención D7 aún cuenta a un jugador que se inscribió en el día 0 y si regresó en el día 7, incluso si ya no califica en el día 4.

Cambios en la configuración mientras se ejecuta un experimento

Para prevenir la deriva de configuración y datos de experimento corruptos, Roblox bloquea la clave de configuración en el momento en que comienza a ejecutarse un experimento:

• No puedes editar o eliminar la clave de configuración en ejecución, ni puedes modificar sus valores condicionales estándar.
• Cualquier condición global a la que haga referencia la configuración activa también está bloqueada. No puedes editar, eliminar o reordenar en relación entre sí.

El bloqueo se libera cuando el experimento se completa.

Agregar experimentos a tu código

Aplicar experimentos en el juego es similar a aplicar configuraciones. La principal diferencia es el uso de ConfigService:GetConfigForPlayerAsync() en lugar de ConfigService:GetConfigAsync().

GetConfigForPlayerAsync() recupera una instantánea específica del jugador. Cuando llamas a GetValue(), la instantánea verifica si hay un experimento activo e inscribe (o no inscribe) al usuario según el porcentaje de implementación.

local ConfigService = game:GetService("ConfigService")
local Players = game:GetService("Players")

local function onPlayerAdded(player)
    local playerConfig = ConfigService:GetConfigForPlayerAsync(player)
    local leaderboardColor = playerConfig:GetValue("leaderboardColor")
end

Players.PlayerAdded:Connect(onPlayerAdded)

• Debes llamar a GetConfigForPlayerAsync() por separado para cada jugador; GetConfigAsync() no aplica experimentos.

• Después de llamar a GetValue() en una instantánea específica del jugador, el jugador asociado con la instantánea está inscrito en el experimento para esa clave y solo esa clave. Todas las llamadas posteriores al método devuelven el mismo control o variante durante la duración del experimento. Solo la primera llamada es aleatoria.

  Espera para llamar a GetValue() hasta que lo necesites. Llamar a GetValue() demasiado pronto puede hacer que inscribas a jugadores que nunca interactúan con la parte del juego en la que estás experimentando.

• La inscripción en experimentos no se limita a nuevos usuarios. Incluso si un usuario recibió previamente un valor de GetConfigAsync(), aún puedes inscribirlo en un experimento utilizando una instantánea específica del jugador de GetConfigForPlayerAsync().

• Si una clave en una instantánea específica del jugador no tiene un experimento activo, GetValue() devuelve el valor estándar de configuración (o nil si no tiene valor).

Inscripción personalizada

Si deseas inscribir solo a los jugadores que cumplen con criterios basados en el estado en el juego, debes escribir código adicional para verificar esos criterios y solo entonces llamar a GetValue() para inscribirlos en el experimento. Considera el siguiente ejemplo:

• Quieres probar un nuevo esquema de control en tu juego de carreras.
• El esquema es para jugadores avanzados, por lo que deseas dirigir a jugadores que han ganado un gran número de carreras.

Tu código podría verse algo así:

local function getControlScheme(player, racesWon)
    if racesWon < 20 then
        return "standardScheme"
    else
        -- El jugador tiene muchas victorias, inscribir en el experimento
        local playerConfigSnapshot = ConfigService:GetConfigForPlayerAsync(player)
        if playerConfigSnapshot:GetValue("useNewControlScheme") then
            return "newScheme"
        else
            return "standardScheme"
        end
    end
end

Si deseas que el esquema de control persista en sesiones posteriores, probablemente necesites agregar un valor a la entrada del jugador en un almacenamiento de datos.

Ver e interpretar resultados

Después de que un experimento ha estado en ejecución durante al menos 24 horas, haz clic en Ver para ver detalles y resultados.

Puedes ver el número total de jugadores inscritos, así como el número de jugadores que recibieron el valor de control y cada variante. Ver esta página al principio del experimento es útil estrictamente para asegurarte de que el experimento se esté ejecutando correctamente, no para tomar acción. Antes de tomar acción, consulta Mejores prácticas.

Después de que el experimento esté completo, revisa la pestaña Resultados. Busca cambios estadísticamente significativos en las métricas objetivo, que el panel destaca en verde o rojo. Estos cambios son más propensos a mostrar el impacto de tu variante y menos propensos a ser falsos positivos o negativos.

Pasa el cursor sobre cualquier métrica para ver el botón Ver confianza, que muestra el intervalo de confianza.

Una métrica es estadísticamente significativa cuando el intervalo de confianza para su cambio porcentual no se superpone con el 0%. En el siguiente ejemplo, la retención D1 ha aumentado un 17.4%, con límites inferior y superior de 8.02% y 22.03%, lo que hace que el cambio sea estadísticamente significativo.

Para conveniencia, la página de resultados te permite reemplazar el valor de configuración predeterminado con uno de las variantes del experimento.

Tomar una decisión

Cuando tu experimento concluye, haz clic en Tomar decisión para iniciar un despliegue guiado. Roblox muestra cualquier advertencia sobre la significancia estadística y la duración del experimento, luego te pide que selecciones una variante ganadora o mantengas el control. Según tu elección, Roblox implementa el cambio apropiado en tus configuraciones permanentes; regresar a la página de Configuraciones muestra el nuevo valor. Haz clic en Cambiar ganador si cambias de opinión.

Si tienes cambios en espera no resueltos en la configuración cuando completes el experimento, Roblox los almacena temporalmente y los restaura en base a un mejor esfuerzo después del despliegue.

Tu decisión determina los cambios en la configuración que Roblox propone:

• Control: Roblox no realiza cambios en tus configuraciones existentes.

• Variante no dirigida: El valor de la variante se convierte en el nuevo valor predeterminado de la configuración. Roblox elimina todas las demás condiciones en esa clave de configuración, aunque permanecen en tu lista de condiciones globales.

• Variante dirigida: Roblox integra la regla ganadora de nuevo en tu configuración permanente utilizando la primera opción aplicable en este orden de prioridad:

  1. Sobrescribir: Si una condición idéntica ya está en la parte superior de la configuración, Roblox sobrescribe su valor con el valor de la variante ganadora.
  2. Agregar existente: Si existe una condición global coincidente y naturalmente estaría en la parte superior, Roblox la agrega a la configuración con el valor de la variante.
  3. Promover: Si una condición global coincidente puede ser promovida de manera segura al rango más bajo necesario para convertirla en la regla superior en esta configuración (sin alterar otras configuraciones), Roblox la agrega a la configuración y la reordena globalmente.
  4. Crear nueva: De lo contrario, Roblox crea una nueva condición global clasificada un nivel por encima de la condición más alta actualmente utilizada en la configuración. Si esto crea una regla duplicada dentro de la configuración, Roblox elimina el valor condicional redundante mientras preserva la regla global.

Mejores prácticas para experimentos

• Utiliza el efecto mínimo detectable (MDE) para decidir si tu experimento vale la pena.

  Roblox calcula el MDE utilizando tu métrica objetivo y el número de jugadores por variante, que se basa en usuarios activos diarios, porcentaje de implementación, duración del experimento y divisiones de variantes. Si el MDE es demasiado alto para tu métrica objetivo (por ejemplo, más del 100%), es poco probable que puedas alcanzar la significancia estadística. Los juegos con menos de 1,000 usuarios activos diarios pueden tener dificultades para obtener datos útiles de los experimentos.

  

• Comienza con una hipótesis. En lugar de simplemente cambiar una variable y verificar los resultados, escribe una declaración de causa y efecto sobre lo que cambiaste, lo que esperas que suceda y por qué. A medida que experimentas más y más, tener un conjunto de hipótesis escritas para acompañar tus resultados puede ayudar a aclarar tu pensamiento y generar nuevas ideas para experimentos.

• Deja que los experimentos se ejecuten durante su duración completa. El efecto de novedad (interés temporal en un cambio no porque sea mejor, sino porque es nuevo) puede distorsionar fuertemente los resultados iniciales, a veces haciendo que oscilen dentro y fuera de la significancia estadística. Terminar los experimentos temprano aumenta las probabilidades de que tomes acciones prematuras basadas en picos anómalos que más datos habrían suavizado o incluso contradicho.

• No actúes sin significancia estadística. Incluso cambios aparentemente grandes en el comportamiento de los jugadores pueden no ser estadísticamente significativos, generalmente debido a un tamaño de muestra pequeño. Si un cambio no es estadísticamente significativo, ignóralo.

• Evita cambios durante los experimentos. Los errores importantes, por supuesto, necesitan correcciones, pero los cambios en el contenido del juego pueden impactar el comportamiento del jugador e invalidar tus resultados, incluso si los cambios parecen no estar relacionados con tu experimento. De manera similar, solo ejecuta experimentos simultáneamente si estás seguro de que no interactuarán entre sí.

• Utiliza intervalos de confianza para profundizar en métricas y verificar casos límite de significancia estadística. Si el intervalo de confianza es demasiado amplio, la métrica puede nunca alcanzar la significancia estadística.

• Si una métrica está significativamente al alza y otra significativamente a la baja, debes decidir si la compensación vale la pena, posiblemente en conjunto con otros movimientos estadísticamente significativos.

• Los experimentos proporcionan una señal fuerte, pero la significancia estadística trata de probabilidades, no de certezas—de ahí el intervalo de confianza. La variabilidad de los datos, el tamaño de la muestra y la magnitud del cambio impactan la probabilidad de detectar si una variante afectó el comportamiento del jugador. Cualquier acción que tomes basada en los resultados de un experimento debe equilibrarse con datos cualitativos como la retroalimentación de los jugadores y tu visión general para el juego.

• Documenta tus hallazgos y decisiones. Incluso si no los usas para ejecutar experimentos adicionales, tener un cuerpo de conocimiento y evidencia puede informar cómo diseñas tus juegos.