Experimentos

*Este contenido se traduce usando la IA (Beta) y puede contener errores. Para ver esta página en inglés, haz clic en aquí.

Experimentos te permiten realizar pruebas A/B en el juego y en la emparejamiento para medir el impacto causal de los cambios en tu juego. Por ejemplo, puedes mostrar diferentes experiencias de incorporación a diferentes jugadores y medir la diferencia en tiempo de juego, retención y otros indicadores clave de rendimiento.

Los experimentos son excelentes para medir lo siguiente:

  • Compromiso - Flujos de incorporación, sistemas de progresión, esquemas de control, emparejamiento personalizado
  • Monetización - Visibilidad de la tienda y experiencia del usuario, tipos de paquetes de inicio, precios
Descripción general de la página de Experimentos en Creator Hub

Crear experimentos

Los experimentos vienen en dos tipos:

  1. Si aún no tienes una configuración, crea una para tu juego.

  2. En la página de Experimentos del Creator Hub para tu juego, haz clic en Crear experimento.

  3. Para Tipo, elige En-experiencia.

  4. Especifica un nombre para el experimento.

  5. Para Conjunto de métricas, elige el conjunto de métricas que deseas que el experimento rastree:

    Conjunto de métricasLo que rastrea
    PredeterminadoMétricas de rendimiento y compromiso estándar como ARPU, tiempo de sesión y retención de nuevos usuarios.
    Ganancias de Video RecompensadoMétricas para anuncios de video recompensados: tasa de opt-in, frecuencia, impresiones, ganancias por anuncios y ganancias totales por usuario, además de métricas de compromiso, retención y monetización predeterminadas.
    PersonalizadoLas métricas predeterminadas más hasta tres métricas personalizadas que defines a partir de tus eventos personalizados, de economía y de embudo.
    El menú desplegable de Conjunto de métricas con las opciones Predeterminado, Ganancias de Video Recompensado y Personalizado
  6. Especifica una métrica objetivo y una duración planificada para el experimento. Los experimentos se ejecutan durante un período de entre 14 y 60 días.

    Independientemente de lo que elijas como tu métrica objetivo, los experimentos rastrean todas las métricas en el conjunto de métricas. Si eliges el conjunto de métricas Ganancias de Video Recompensado, Roblox establece las métricas objetivo por ti, por lo que solo necesitas especificar la duración.

  7. Elige un porcentaje de implementación. Este número es el porcentaje de jugadores que deseas incluir en el experimento.

    En general, cuanto más personas incluyas en un experimento, mejor será la calidad de los datos, pero usa tu juicio sobre lo que es mejor para tu juego.

  8. Especifica variantes y porcentajes.

    Las variantes son valores alternativos para tu configuración. Para una clave de configuración numérica bossHealth con un valor de control de 500, podrías especificar una variante de 300. Puedes tener hasta dos variantes y un control en un experimento.

    Los porcentajes dictan cómo asignar variantes dentro de la implementación del experimento. Considera el siguiente ejemplo:

    • Eliges una implementación general del 40%.
    • Especificas dos variantes y una división 50/50 entre ellas y el control.

    En este ejemplo, el 60% de tus usuarios están excluidos del experimento; estos usuarios reciben el control y no tienen impacto en los resultados del experimento. Aproximadamente el 20% de tus usuarios reciben el control como parte del experimento. Otro 20% recibe la variante. Dependiendo de tu número de jugadores, esta distribución podría no ser lo suficientemente grande como para generar resultados accionables.

    Página de variantes

  9. (Opcional) Dirige el experimento a una audiencia específica para que solo los jugadores coincidentes sean elegibles para la inscripción. La segmentación utiliza los mismos atributos de jugador que las configuraciones condicionales, y puedes copiar condiciones existentes directamente de tus configuraciones. Para más información, consulta Dirigir experimentos a audiencias específicas.

    El paso de segmentación opcional durante la creación del experimento

  10. El paso final es la programación. Puedes comenzar los experimentos de inmediato o programarlos para una fecha y hora posteriores. Después de programar un experimento, no puedes cambiar su configuración (duración, porcentaje de implementación, variantes, etc.), pero puedes reprogramarlo.

Métricas

Los experimentos rastrean todas las siguientes métricas durante la duración del experimento. Estas métricas se actualizan cada 24 horas mientras el experimento está en ejecución. Sin embargo, durante las primeras 24 horas de tu experimento, el tiempo de juego, la tasa de conversión de pagadores y el ARPU también se actualizan cada 5 minutos para que puedas detectar regresiones críticas (daño temprano) rápidamente.

MétricaDescripción¿Daño temprano?
Retención D1Porcentaje de nuevos jugadores que regresaron a tu juego después de un día.No
Retención D7Porcentaje de nuevos jugadores que regresaron a tu juego después de una semana.No
Tiempo de juegoPromedio de tiempo que los jugadores pasaron dentro de tu juego. Acumulativo durante la duración del experimento.Sí
ARPUIngresos promedio por usuario. Ingresos divididos por el número de jugadores. Acumulativo durante la duración del experimento.Sí
ARPPUIngresos promedio por usuario que paga. Ingresos divididos por el número de jugadores que compraron un artículo relacionado con el juego. Acumulativo durante la duración del experimento.No
Tasa de conversión de pagadoresPorcentaje de jugadores que compraron un artículo relacionado con el juego. Acumulativo durante la duración del experimento.Sí
Tiempo de sesiónTiempo de juego dividido por el número de sesiones. Acumulativo durante la duración del experimento.No

Estado del experimento

La página de Experimentos muestra los siguientes estados para los experimentos.

EstadoDescripción
CompletadoEl experimento ha terminado, lo que ocurre cuando lo detienes manualmente, cuando llegas a una decisión, o automáticamente poco después de la fecha de decisión (14 días después para experimentos en el juego, inmediatamente para emparejamiento). Aún puedes revisar los detalles y resultados.
Decisión necesariaEl experimento ha alcanzado su fecha de decisión. Ahora es un buen momento para revisar los resultados.
En ejecuciónEl experimento está en ejecución pero aún no ha alcanzado su fecha de decisión.
ProgramadoEl experimento está programado para comenzar en una fecha futura.
BorradorEl experimento no ha sido iniciado o programado. Puedes terminar de configurarlo.

Métricas personalizadas

Por defecto, los experimentos rastrean métricas generales como tiempo de juego, ARPU y retención D1. Estas métricas te dicen si un cambio tuvo un impacto general, pero también podrías querer saber los detalles de lo que cambió en tu juego, como si los jugadores eran más o menos propensos a usar una habilidad, vencer a un jefe o completar el flujo de incorporación.

Métricas personalizadas te permiten agregar tus propias métricas operativas a un experimento en el juego, construidas a partir de los eventos personalizados, eventos de economía y eventos de embudo que ya registras con AnalyticsService. Úsalas para:

  • Explicar un resultado plano. La retención D1 no ha cambiado, pero la finalización del embudo de incorporación cayó un 8%. Puede que no quieras implementar el cambio, o puede que quieras probar un valor diferente.
  • Justificar una implementación de todos modos. El ARPU es plano, pero los saldos de monedas de los pagadores se están agotando más rápido, lo que debería mejorar la monetización con el tiempo.
  • Probar una hipótesis sobre tu bucle central. Si crees que pasar más tiempo grabando videos lleva a más comparticiones y mejor retención, puedes medir ambos en el mismo experimento.

Antes de comenzar

  • Registra tus eventos primero. Construyes métricas personalizadas a partir de eventos que tu juego envía, por lo que solo puedes elegir entre nombres de eventos, monedas y embudos que ya tienen datos. Para configurarlos, consulta eventos personalizados, eventos de economía y eventos de embudo.
  • Los nuevos eventos tardan tiempo en procesarse. Si acabas de agregar un evento, puede tardar hasta 24 horas en aparecer en el panel.

Agregar métricas personalizadas a un experimento

  1. En la página de Experimentos del Creator Hub para tu juego, haz clic en Crear experimento y completa el tipo y el nombre como de costumbre.

  2. Para Conjunto de métricas, elige Personalizado.

  3. En la sección de Métricas personalizadas, haz clic en Agregar. Para reutilizar una métrica que creaste para un experimento anterior, haz clic en Agregar de experimento pasado en su lugar.

    La sección de Métricas personalizadas con los botones Agregar y Agregar de experimento pasado
  4. Elige una Fuente: Personalizada, Economía o Embudo.

  5. Elige lo que mide la métrica: el tipo de evento personalizado, la moneda o el embudo y su paso de finalización.

  6. Elige un Cálculo. Para más información, consulta Elegir un cálculo.

  7. (Opcional) Agrega Filtros para limitar qué eventos cuentan para la métrica.

  8. Verifica el Nombre de la métrica. Roblox genera un nombre a partir de tus selecciones, pero puedes editarlo a algo que tu equipo reconozca, o restablecerlo en cualquier momento.

    El panel Agregar métrica personalizada con una fuente de embudo, el embudo de incorporación, un paso de finalización y el cálculo de conversión por usuario
  9. Haz clic en Guardar. Puedes agregar hasta tres métricas personalizadas.

  10. Para Métrica objetivo, elige la métrica que decide el experimento. Tus métricas personalizadas aparecen en esta lista junto con el tiempo de juego y los ingresos promedio por usuario. El experimento aún rastrea cualquier métrica personalizada que no establezcas como la métrica objetivo como una métrica de aprendizaje.

  11. Termina de configurar el experimento como de costumbre: duración, porcentaje de implementación, variantes, segmentación y programación.

Elegir un cálculo

Cada cálculo solo cuenta a los jugadores inscritos en el experimento y solo eventos registrados durante el experimento. La mayoría de los cálculos utilizan uno de dos denominadores basados en jugadores:

  • Por todos los usuarios divide por todos los inscritos en el grupo del experimento, incluidos los jugadores que nunca activaron el evento. Usa este denominador cuando quieras que la métrica refleje tanto con qué frecuencia ocurre el comportamiento como cuántos jugadores lo hacen.
  • Por participante divide solo por los jugadores inscritos que registraron el evento al menos una vez. Usa este denominador cuando quieras medir la intensidad entre los jugadores que participan, independientemente de cuántos jugadores participen.

La excepción es la conversión de embudo por instancia, que se divide por instancias de embudo en lugar de jugadores.

Métricas de eventos personalizados

Selecciona un tipo de evento personalizado, luego uno de los siguientes cálculos:

CálculoLo que mide
Valor personalizado promedioValor total del evento, dividido por el número de jugadores inscritos que lo registraron al menos una vez.
Valor personalizado promedio por todos los usuariosValor total del evento, dividido por todos los jugadores inscritos.
% de participaciónPorcentaje de jugadores inscritos que registraron el evento al menos una vez.

Por ejemplo, supongamos que estás probando un nuevo bucle de recolección de hierbas. Agrega Valor personalizado promedio por todos los usuarios en un evento HerbsGathered para ver si la variante aumenta la recolección en todo el grupo, y % de participación en el mismo evento para ver si atrae a jugadores que de otro modo lo ignorarían.

Métricas de economía

Selecciona una moneda, luego uno de los siguientes cálculos:

CálculoLo que mide
Promedio neto de cambio de monedaTotal de fuente menos total de sumidero, dividido por el número de jugadores inscritos que registraron al menos un evento de fuente o sumidero.
Promedio de cambio de moneda de fuenteTotal de cantidad de eventos de fuente, dividido por el número de jugadores inscritos que registraron al menos un evento de fuente o sumidero.
Promedio de cambio de moneda de sumideroTotal de cantidad de eventos de sumidero, dividido por el número de jugadores inscritos que registraron al menos un evento de fuente o sumidero.

Para medir el gasto en partes específicas de tu economía, filtra por tipos de transacción específicos o SKU de artículos.

Por ejemplo, supongamos que estás probando un nuevo pase de temporada que otorga monedas como recompensas de progreso. Lo has ajustado para que alcanzar el premio exclusivo final a tiempo requiera que los jugadores gasten monedas en mejoras de juego. En tu moneda de monedas:

  • Promedio de cambio de moneda de sumidero te dice si los jugadores están gastando más.
  • Promedio de cambio de moneda de fuente te dice si los jugadores están ganando más.
  • Promedio neto de cambio de moneda te dice si el gasto adicional es suficiente para detener la inflación de los saldos.

Métricas de embudo

Selecciona un embudo, luego un paso de finalización, luego uno de los siguientes cálculos:

CálculoLo que mide
% de conversión de embudo por usuarioJugadores únicos que alcanzaron el paso de finalización, dividido por jugadores únicos que registraron cualquier paso.
% de conversión de embudo por instanciaValores únicos de funnelSessionId que alcanzaron el paso de finalización, dividido por todos los valores de funnelSessionId que registraron cualquier paso.

Ten en cuenta lo siguiente para las métricas de embudo:

  • Debes elegir un paso de finalización. No puedes cambiar este paso después de que comience el experimento, así que elige un paso que sea crítico para tu métrica.
  • Los embudos de una sola vez devuelven el mismo resultado para ambos cálculos. Para embudos de una sola vez, incluido el embudo de incorporación, la conversión por usuario y por instancia son iguales porque cada jugador tiene solo una instancia. Los cálculos solo difieren para embudos recurrentes que utilizan funnelSessionId.
  • Los embudos recurrentes responden a diferentes preguntas. La conversión por usuario responde "¿cuántos jugadores completan esto al menos una vez?", mientras que la conversión por instancia responde "¿con qué frecuencia tiene éxito un intento?". Estas métricas pueden moverse en direcciones opuestas.
  • Los pasos omitidos cuentan como completados. Si un jugador registra el paso 3 sin registrar los pasos 1 y 2, el embudo considera que los pasos 1 y 2 están completos. Los pasos repetidos solo cuentan una vez. Para más información, consulta Pasos omitidos y Pasos repetidos.

Por ejemplo, supongamos que has reestructurado tu tutorial. Agrega % de conversión de embudo por usuario en el embudo de incorporación con el paso final como el paso de finalización, y hazlo tu métrica objetivo. Luego verifica la retención D1 para ver si una mejor finalización realmente lleva a que los jugadores regresen.

Ejemplos de métricas personalizadas

Lo que cambiasLo que quieres saberMétrica a agregar
Acortar tu tutorial de ocho pasos a cinco¿Terminan más nuevos jugadores el tutorial?Embudo: incorporación, % de conversión por usuario con el último paso como finalización
Agregar un botón de misiones diarias al menú principal¿Prueban más jugadores las misiones diarias?Personalizado: % de participación en QuestStarted
Bajar el precio del impulso de velocidad de 100 a 50 monedas¿Gastan más monedas los jugadores en la tienda?Economía: monedas, promedio de cambio de sumidero, filtrado al SKU del artículo de impulso de velocidad
Duplicar las monedas de las recompensas de inicio de sesión diarias¿Están ahorrando demasiadas monedas los jugadores?Economía: monedas, promedio neto de cambio (monedas ganadas menos monedas gastadas)

Leer resultados de métricas personalizadas

Las métricas de experimentos son acumulativas, pero los análisis de paneles son diarios. Una métrica de experimento suma toda la ventana del experimento y, donde el denominador son jugadores, cuenta a cada jugador una vez. Las páginas de análisis predeterminan una vista diaria, por lo que el mismo evento subyacente produce diferentes números en los dos lugares. Usa análisis para explorar tus eventos y validar que se están activando correctamente, y usa los resultados del experimento para comparar variantes contra el control.

Cuando interpretes métricas personalizadas, ten en cuenta lo siguiente:

  • Una métrica personalizada que se mueve sin una métrica general es información, no ruido. Generalmente significa que el cambio funcionó mecánicamente pero aún no ha tenido un impacto estadísticamente significativo en la retención o los ingresos, o nunca lo tendrá.
  • La dirección no siempre es una buena noticia. Una caída en las tasas de victoria podría ser exactamente lo que querías si agregaste más desafíos para los jugadores establecidos. Antes de que comience el experimento, decide qué dirección cuenta como una victoria.
  • La significancia estadística sigue aplicándose. Las métricas personalizadas están sujetas a las mismas restricciones de tamaño de muestra que cualquier otra métrica. Si un cambio no es estadísticamente significativo, no actúes en consecuencia.
  • No sobreenfatices una métrica. Si tu métrica objetivo está en aumento pero una métrica de aprendizaje está significativamente en descenso, tienes un compromiso que sopesar, no una victoria clara.

Métricas de video recompensado

Los anuncios de video recompensados pueden ayudarte a ganar más con tu juego, incluso de jugadores que no gastan Robux. Sin embargo, necesitas ajustar la colocación de los anuncios de video recompensados para que se ajusten a tu juego y su economía. Dónde colocas el anuncio y qué artículos recompensas a los jugadores afectan tanto las ganancias de anuncios como el compromiso.

El conjunto de métricas Ganancias de Video Recompensado rastrea el rendimiento de los anuncios junto con una selección de métricas predeterminadas de compromiso, retención y monetización, para que puedas asegurarte de que la ejecución de anuncios no perjudique el resto de tu juego. Úsalo para:

  • Ajustar un anuncio recompensado. Prueba una recompensa más grande o una colocación diferente, y verifica si la tasa de opt-in y la frecuencia aumentan.
  • Verificar el compromiso. Si las ganancias de anuncios aumentan, verifica si el tiempo de juego, la retención o la conversión de pagadores disminuyeron. Las ganancias totales por usuario muestran el efecto combinado de anuncios y microtransacciones.
  • Alcanzar a jugadores que no pagan. Prueba si una opción de anuncio genera ganancias de jugadores que no han realizado una compra, sin disminuir lo que gastan tus pagadores.

Configurar un experimento de ganancias de video recompensado

Los experimentos de video recompensado son experimentos en el juego, por lo que funcionan como cualquier otro experimento en el juego. Controlas la función del anuncio, como el tamaño de la recompensa o la frecuencia del anuncio, con una configuración. Cada variante tiene un valor de configuración diferente, y tu código lee el valor con ConfigService:GetConfigForPlayerAsync(). Para más información, consulta Agregar experimentos a tu código.

  1. Si aún no tienes una configuración para el anuncio de video recompensado que deseas probar, crea una. Por ejemplo, crea una clave de configuración numérica adCooldownSeconds con tu tiempo de enfriamiento actual como valor de control.

  2. En la página de Experimentos del Creator Hub para tu juego, haz clic en Crear experimento.

  3. Para Tipo, elige En-experiencia.

  4. Para Conjunto de métricas, elige Ganancias de Video Recompensado. Roblox establece impresiones por usuario y ganancias totales por usuario como las métricas objetivo, por lo que no necesitas elegir una.

    Un experimento en-experiencia con el conjunto de métricas Ganancias de Video Recompensado seleccionado
  5. Termina de configurar el experimento como de costumbre: duración, porcentaje de implementación, variantes, segmentación y programación.

Métricas de ganancias de video recompensado

El conjunto de métricas Ganancias de Video Recompensado rastrea las siguientes métricas de anuncios, además de una selección de las métricas predeterminadas para que puedas verificar que los anuncios no perjudican el compromiso, la retención o la monetización.

MétricaDescripción
Ganancias totales por usuarioGanancias por jugador de anuncios de video recompensados y microtransacciones (productos de desarrollador, pases, servidores privados y acceso pagado). Acumulativo durante la duración del experimento.
Impresiones por usuarioImpresiones de anuncios por jugador. Acumulativo durante la duración del experimento.
Tasa de opt-inPorcentaje de jugadores elegibles que vieron al menos un anuncio.
FrecuenciaImpresiones de anuncios divididas por espectadores únicos.
Ganancias por usuario de anunciosGanancias por jugador de anuncios de video recompensados. Acumulativo durante la duración del experimento.

Dirigir experimentos a audiencias específicas

Por defecto, un experimento en el juego puede inscribir a cualquier jugador en tu porcentaje de implementación. La segmentación te permite ejecutar el experimento en una audiencia específica en su lugar, como jugadores en ciertos países, ventanas de antigüedad específicas o niveles de gasto activo. La segmentación utiliza los mismos atributos que la segmentación de configuraciones.

Configurar experimentos dirigidos

Configuras los criterios de segmentación cuando creas el experimento. Después de que el experimento comience, no puedes cambiar las reglas de segmentación, el valor de control, las variantes o cualquier regla condicional que utilice la clave de configuración.

Puedes reutilizar reglas condicionales existentes de tus configuraciones para definir tu segmentación, pero el experimento almacena una copia independiente de cada regla. Editar o eliminar la condición de configuración original más tarde no tiene efecto en la segmentación del experimento.

Debido a que reducir tu audiencia disminuye tu tamaño de muestra, Roblox actualiza el efecto mínimo detectable (MDE) utilizando una estimación de la audiencia que coincide con tus criterios de segmentación. Asegúrate de que tu audiencia dirigida sea lo suficientemente grande como para producir resultados estadísticamente significativos.

Cómo Roblox resuelve valores dirigidos

Roblox evalúa los experimentos primero, antes de cualquier regla de configuraciones condicionales estándar. Cuando una clave de configuración tiene un experimento activo, Roblox resuelve el valor en este orden:

  1. El valor del experimento activo, si el jugador está dirigido e inscrito.
  2. La primera condición de configuración coincidente.
  3. Cualquier condición de configuración coincidente subsiguiente.
  4. El valor predeterminado.

Los jugadores en el grupo de control reciben el valor que producen tus reglas de configuración existentes. No puedes ejecutar más de un experimento activo en la misma clave de configuración a la vez.

Evaluación por sesión

Roblox evalúa los atributos de segmentación por sesión, por lo que la elegibilidad de un jugador individual puede cambiar con el tiempo:

  • Si un jugador coincide con tus criterios de segmentación durante una sesión, puede ser inscrito y recibir una variante del experimento.
  • Si ya no coincide en una sesión posterior, deja de recibir el valor del experimento y vuelve inmediatamente a tus reglas de configuración estándar. Si tu experimento necesita continuidad más allá de la elegibilidad—por ejemplo, un flujo de incorporación de múltiples sesiones dirigido a nuevos jugadores—persiste el valor tú mismo, como en un almacenamiento de datos.

Los datos de un jugador permanecen atribuidos a la variante (o control) en la que fueron inscritos, incluso si más tarde dejan de coincidir con los criterios. Por ejemplo, la retención D7 aún cuenta a un jugador que se inscribió en el día 0 y si regresó en el día 7, incluso si ya no califica en el día 4.

Cambios en la configuración mientras un experimento está en ejecución

Para prevenir la deriva de configuración y datos de experimento corruptos, Roblox bloquea la clave de configuración en el momento en que un experimento comienza a ejecutarse:

  • No puedes editar o eliminar la clave de configuración en ejecución, ni puedes modificar sus valores condicionales estándar.
  • Cualquier condición global a la que haga referencia la configuración activa también está bloqueada. No puedes editar, eliminar o reordenar en relación entre sí.

El bloqueo se libera cuando el experimento se completa.

Agregar experimentos a tu código

Aplicar experimentos en el juego es similar a aplicar configuraciones. La principal diferencia es el uso de ConfigService:GetConfigForPlayerAsync() en lugar de ConfigService:GetConfigAsync().

GetConfigForPlayerAsync() recupera una instantánea específica del jugador. Cuando llamas a GetValue(), la instantánea verifica si hay un experimento activo e inscribe (o no inscribe) al usuario según el porcentaje de implementación.

local ConfigService = game:GetService("ConfigService")
local Players = game:GetService("Players")
local function onPlayerAdded(player)
local playerConfig = ConfigService:GetConfigForPlayerAsync(player)
local leaderboardColor = playerConfig:GetValue("leaderboardColor")
end
Players.PlayerAdded:Connect(onPlayerAdded)
  • Debes llamar a GetConfigForPlayerAsync() por separado para cada jugador; GetConfigAsync() no aplica experimentos.

  • Después de que llames a GetValue() en una instantánea específica del jugador, el jugador asociado con la instantánea está inscrito en el experimento para esa clave y solo esa clave. Todas las llamadas posteriores al método devuelven el mismo control o variante durante la duración del experimento. Solo la primera llamada es aleatoria.

  • La inscripción en experimentos no se limita a nuevos usuarios. Incluso si un usuario recibió previamente un valor de GetConfigAsync(), aún puedes inscribirlo en un experimento utilizando una instantánea específica del jugador de GetConfigForPlayerAsync().

  • Si una clave en una instantánea específica del jugador no tiene un experimento activo, GetValue() devuelve el valor estándar de configuración (o nil si no tiene valor).

Inscripción personalizada

Si deseas inscribir solo a los jugadores que cumplen criterios basados en el estado en el juego, debes escribir código adicional para verificar esos criterios y solo entonces llamar a GetValue() para inscribirlos en el experimento. Considera el siguiente ejemplo:

  • Quieres probar un nuevo esquema de control en tu juego de carreras.
  • El esquema es para jugadores avanzados, por lo que deseas dirigir a jugadores que han ganado un gran número de carreras.

Tu código podría verse algo así:

local function getControlScheme(player, racesWon)
if racesWon < 20 then
return "standardScheme"
else
-- El jugador tiene muchas victorias, inscribir en el experimento
local playerConfigSnapshot = ConfigService:GetConfigForPlayerAsync(player)
if playerConfigSnapshot:GetValue("useNewControlScheme") then
return "newScheme"
else
return "standardScheme"
end
end
end

Si deseas que el esquema de control persista en sesiones posteriores, probablemente necesites agregar un valor a la entrada del jugador en un almacenamiento de datos.

Ver e interpretar resultados

Haz clic en Ver para ver detalles y resultados. En la pestaña Detalles y Progreso puedes ver el número total de jugadores inscritos, así como el número de jugadores que recibieron el valor de control y cada variante. Ver esta página temprano en el experimento es útil estrictamente para asegurarte de que el experimento esté funcionando correctamente, no para tomar acción. Antes de tomar acción, consulta Mejores prácticas.

La página de detalles para un experimento

Métricas de daño temprano

Durante las primeras 24 horas, o hasta que lleguen los primeros resultados diarios, las métricas de daño temprano metrics se actualizan cada 5 minutos para que puedas detectar daños críticos no intencionados temprano. Haz clic en Métricas para ver estos resultados. Busca métricas que causen daño crítico resaltadas en rojo.

Pasa el cursor sobre una métrica y haz clic en Ver confianza para ver el intervalo de confianza.

Resultados de Daño Temprano para un experimento

Durante esta ventana, los resultados solo prueban el daño, por lo que el intervalo de confianza no tiene límite inferior, solo un límite superior. Una métrica se marca como críticamente dañina solo si todo el intervalo de confianza cae por debajo del umbral de daño crítico. En el siguiente ejemplo, el tiempo de juego está en -12.67% con un límite superior de -2.73%. A pesar de que la estimación es inferior al umbral de daño crítico de -10% y todo el intervalo de confianza está por debajo de 0%, la métrica no se clasifica como críticamente dañina porque el intervalo no está completamente por debajo del umbral de daño.

Intervalo de confianza para una métrica de Daño Temprano

Usa estos resultados solo para guiar decisiones de detención temprana en las primeras 24 horas. No los uses para decisiones de lanzamiento, confía en los resultados diarios en su lugar.

Umbrales de daño temprano

Cada métrica tiene su propio umbral de daño temprano. Si el aumento de una variante cae por debajo de este umbral, se clasificará como críticamente dañina para esa métrica. Sin embargo, para comparaciones de variantes de métricas con menos de 10,000 jugadores inscritos en la variante y el control, se muestran aumentos de variantes, pero no se tomarán decisiones sobre el daño hasta que el tamaño de la muestra proporcione suficientes datos para detectar el daño de manera confiable.

MétricaUmbral de daño temprano
Tiempo de juego-10%
ARPU-20%
Tasa de conversión de pagadores-20%

Notificaciones de daño temprano

Si se detecta daño crítico en tu experimento durante el período de análisis de daño temprano, se entrega una notificación al propietario del juego y al propietario del experimento para una acción temprana. Las notificaciones se entregan por correo electrónico, bandeja de notificaciones de Creator Hub y a través de un webhook opcional. Al recibir una notificación de daño temprano, debes revisar las métricas del experimento y decidir si el experimento debe detenerse anticipadamente.

Notificación de daño temprano en el Creator Hub

Resultados diarios

Después de que un experimento ha estado en ejecución durante al menos 24 horas, haz clic en Resultados para ver los últimos resultados, que se actualizan cada 24 horas. Busca cambios estadísticamente significativos en las métricas objetivo, que el panel resalta en verde o rojo. Estos cambios son más propensos a mostrar el impacto de tu variante y menos propensos a ser falsos positivos o negativos.

La página de detalles para un experimento

Una métrica es estadísticamente significativa cuando el intervalo de confianza para su cambio porcentual no se superpone con 0%. En el siguiente ejemplo, el ARPU ha aumentado un 2.37%, con límites inferior y superior de 0.55% y 4.19%, lo que hace que el cambio sea estadísticamente significativo.

Intervalo de confianza para una métrica

Para conveniencia, la página de resultados te permite reemplazar el valor de configuración predeterminado con una de las variantes del experimento.

Desajuste de proporción de muestra

Si tu experimento no está logrando inscribir a los usuarios en las variantes en las proporciones esperadas, aparecerá un banner de alerta para Desajuste de Proporción de Muestra (SRM) en la pestaña de resultados del experimento. Si se detecta SRM, se recomienda detener y reiniciar tu experimento.

SRM se verifica cada 5 minutos durante las primeras 24 horas de tu experimento, y luego diariamente después. SRM puede invalidar los resultados del experimento; no tomes decisiones de lanzamiento basadas en resultados comprometidos y poco confiables.

Banner de Desajuste de Proporción de Muestra

Tomar una decisión

Cuando tu experimento concluye, haz clic en Tomar decisión para iniciar un lanzamiento guiado. Roblox muestra cualquier advertencia sobre significancia estadística y duración del experimento, luego te solicita seleccionar una variante ganadora o mantener el control. Según tu elección, Roblox implementa el cambio apropiado en tus configuraciones permanentes; regresar a la página de Configuraciones muestra el nuevo valor. Haz clic en Cambiar ganador si cambias de opinión.

Si tienes cambios en espera no resueltos en la configuración cuando completes el experimento, Roblox los almacena temporalmente y los restaura en una base de mejor esfuerzo después del lanzamiento.

Tu decisión determina los cambios de configuración que Roblox propone:

  • Control: Roblox no realiza cambios en tus configuraciones existentes.
  • Variante no dirigida: El valor de la variante se convierte en el nuevo valor predeterminado de la configuración. Roblox elimina todas las demás condiciones en esa clave de configuración, aunque permanecen en tu lista de condiciones globales.
  • Variante dirigida: Roblox integra la regla ganadora de nuevo en tu configuración permanente utilizando la primera opción aplicable en este orden de prioridad:
    1. Sobrescribir: Si una condición idéntica ya está en la parte superior de la configuración, Roblox sobrescribe su valor con el valor de la variante ganadora.
    2. Agregar existente: Si existe una condición global coincidente y naturalmente se sentaría en la parte superior, Roblox la agrega a la configuración con el valor de la variante.
    3. Promover: Si una condición global coincidente puede ser promovida de manera segura al rango más bajo necesario para convertirla en la regla superior en esta configuración (sin alterar otras configuraciones), Roblox la agrega a la configuración y la reordena globalmente.
    4. Crear nueva: De lo contrario, Roblox crea una nueva condición global clasificada un nivel por encima de la condición más alta actualmente utilizada en la configuración. Si esto crea una regla duplicada dentro de la configuración, Roblox elimina el valor condicional redundante mientras preserva la regla global.

Mejores prácticas para experimentos

  • Usa el efecto mínimo detectable (MDE) para decidir si tu experimento vale la pena.

    Roblox calcula el MDE utilizando tu métrica objetivo y el número de jugadores por variante, que se basa en usuarios activos diarios, porcentaje de implementación, duración del experimento y divisiones de variantes. Si el MDE es demasiado alto para tu métrica objetivo (por ejemplo, más del 100%), es poco probable que puedas alcanzar significancia estadística. Los juegos con menos de 1,000 usuarios activos diarios pueden tener dificultades para obtener datos útiles de los experimentos.

    Pantalla de MDE insuficiente durante la creación.

  • Comienza con una hipótesis. En lugar de simplemente cambiar una variable y verificar los resultados, escribe una declaración de causa y efecto sobre lo que cambiaste, lo que esperas que suceda y por qué. A medida que experimentas más y más, tener un conjunto de hipótesis escritas para acompañar tus resultados puede ayudar a aclarar tu pensamiento y generar nuevas ideas para experimentos.

  • Deja que los experimentos se ejecuten durante sus duraciones completas. El efecto de novedad (interés temporal en un cambio no porque sea mejor, sino porque es nuevo) puede sesgar fuertemente los resultados iniciales, a veces haciendo que oscilen dentro y fuera de la significancia estadística. Terminar los experimentos temprano aumenta las probabilidades de que tomes acciones prematuras basadas en picos anómalos que más datos habrían suavizado o incluso contradicho.

    • La excepción es el daño temprano en las primeras 24 horas: si las métricas se marcan como críticamente dañinas o ves un desajuste de proporción de muestra, revisa y considera detener. No uses resultados de daño temprano para decisiones de lanzamiento.
  • No actúes sin significancia estadística. Incluso cambios que parecen grandes en el comportamiento de los jugadores pueden no ser estadísticamente significativos, generalmente debido a un tamaño de muestra pequeño. Si un cambio no es estadísticamente significativo, ignóralo.

  • Evita cambios durante los experimentos. Los errores importantes, por supuesto, necesitan correcciones, pero los cambios en el contenido del juego pueden impactar el comportamiento del jugador e invalidar tus resultados, incluso si los cambios parecen no estar relacionados con tu experimento. De manera similar, solo ejecuta experimentos simultáneamente si estás seguro de que no interactuarán entre sí.

  • Usa intervalos de confianza para profundizar en métricas y verificar casos límite de significancia estadística. Si el intervalo de confianza es demasiado amplio, la métrica podría nunca alcanzar significancia estadística.

  • Si una métrica está significativamente en aumento y otra significativamente en descenso, debes decidir si el compromiso vale la pena, posiblemente en conjunto con otros movimientos estadísticamente significativos.

  • Los experimentos proporcionan una señal fuerte, pero la significancia estadística trata de probabilidades, no de certezas—de ahí el intervalo de confianza. La variabilidad de los datos, el tamaño de la muestra y la magnitud del cambio impactan la probabilidad de detectar si una variante afectó el comportamiento del jugador. Cualquier acción que tomes basada en los resultados de un experimento debe equilibrarse con datos cualitativos como la retroalimentación de los jugadores y tu visión general para el juego.

  • Documenta tus hallazgos y decisiones. Incluso si no los usas para ejecutar experimentos adicionales, tener un cuerpo de conocimiento y evidencia puede informar cómo diseñas tus juegos.

©2026 Roblox Corporation. Roblox, el logotipo de Roblox y "Powering Imagination" son algunas de nuestras marcas registradas y no registradas en los Estados Unidos y otros países.