Expériences

Expériences vous permettent de réaliser des tests A/B en jeu et de matchmaking pour mesurer l'impact causal des changements apportés à votre jeu. Par exemple, vous pouvez montrer différentes expériences d'intégration à différents joueurs et mesurer la différence de temps de jeu, de rétention et d'autres indicateurs clés de performance.

Les expériences sont excellentes pour mesurer les éléments suivants :

• Engagement - Flux d'intégration, systèmes de progression, schémas de contrôle, matchmaking personnalisé
• Monétisation - Visibilité de la boutique et expérience utilisateur, types de packs de démarrage, tarification

Créer des expériences

Les expériences se déclinent en deux types :

• Les expériences en jeu vous permettent de mesurer l'impact de différentes valeurs de configuration.
• Les expériences de matchmaking vous permettent de mesurer l'impact de différentes configurations de matchmaking personnalisées. Contrairement aux expériences en jeu, vous ne pouvez exécuter qu'une seule expérience de matchmaking à la fois.

1. Si vous n'avez pas encore de configuration, créez-en une pour votre jeu.

2. Sur la page Expériences du Creator Hub pour votre jeu, cliquez sur Créer une expérience.

3. Pour Type, choisissez En expérience.

4. Spécifiez un nom, un indicateur de performance cible et une durée prévue pour l'expérience. Les expériences durent entre 14 et 60 jours.

   Quelle que soit votre choix d'indicateur de performance cible, les expériences suivent tous les indicateurs de la liste.

5. Choisissez un pourcentage de déploiement. Ce nombre est le pourcentage de joueurs que vous souhaitez inclure dans l'expérience.

   En général, plus vous incluez de personnes dans une expérience, meilleures sont les données, mais utilisez votre jugement sur ce qui est le mieux pour votre jeu.

   Faites attention à l'effet détectable minimum, qui est le plus petit changement dans l'indicateur sélectionné que l'expérience peut détecter de manière fiable.

6. Spécifiez des variantes et des pourcentages.

   Les variantes sont des valeurs alternatives pour votre configuration. Pour une clé de configuration numérique bossHealth avec une valeur de contrôle de 500, vous pourriez spécifier une variante de 300. Vous pouvez avoir jusqu'à deux variantes et un contrôle dans une expérience.

   Les pourcentages dictent comment attribuer les variantes dans le déploiement de l'expérience. Considérez l'exemple suivant :

   • Vous choisissez un déploiement global de 40 %.
   • Vous spécifiez deux variantes et une répartition 50/50 entre elles et le contrôle.

   Dans cet exemple, 60 % de vos utilisateurs sont exclus de l'expérience ; ces utilisateurs reçoivent le contrôle et n'ont aucun impact sur les résultats de l'expérience. Environ 20 % de vos utilisateurs reçoivent le contrôle dans le cadre de l'expérience. Un autre 20 % reçoit la variante. En fonction de votre nombre de joueurs, cette distribution peut ne pas être suffisamment grande pour produire des résultats exploitables.

   En cas de doute, nous recommandons des expériences simples 50/50 d'une variante et d'un contrôle sur de grands déploiements. Les expériences sont plus faciles à configurer et les résultats sont plus faciles à interpréter.

   

7. (Optionnel) Ciblez l'expérience à un public spécifique afin que seuls les joueurs correspondants soient éligibles à l'inscription. Le ciblage utilise les mêmes attributs de joueur que les configurations conditionnelles, et vous pouvez copier des conditions existantes directement à partir de vos configurations. Pour plus d'informations, voir Cibler des expériences à des publics spécifiques.

   

8. L'étape finale est la planification. Vous pouvez commencer les expériences immédiatement ou les programmer pour une date et une heure ultérieures. Après avoir programmé une expérience, vous ne pouvez pas modifier sa configuration (durée, pourcentage de déploiement, variantes, etc.), mais vous pouvez la reprogrammer.

Indicateurs

Les expériences suivent tous les indicateurs suivants pendant la durée de l'expérience.

Statut de l'expérience

La page Expériences affiche les statuts suivants pour les expériences.

Cibler des expériences à des publics spécifiques

Par défaut, une expérience en jeu peut inscrire n'importe quel joueur dans votre pourcentage de déploiement. Le ciblage vous permet de réaliser l'expérience sur un public spécifique, comme des joueurs dans certains pays, des fenêtres de durée spécifiques ou des niveaux de dépense actifs. Le ciblage utilise les mêmes attributs que le ciblage de configuration.

Configurer des expériences ciblées

Vous configurez les critères de ciblage lorsque vous créez l'expérience. Après le début de l'expérience, vous ne pouvez pas modifier les règles de ciblage, la valeur de contrôle, les variantes ou toute règle conditionnelle que la clé de configuration utilise.

Vous pouvez réutiliser des règles conditionnelles existantes de vos configurations pour définir votre ciblage, mais l'expérience stocke une copie indépendante de chaque règle. Modifier ou supprimer la condition de configuration d'origine plus tard n'a aucun effet sur le ciblage de l'expérience.

Parce que restreindre votre public réduit votre taille d'échantillon, Roblox met à jour l'effet détectable minimum (MDE) en utilisant une estimation du public qui correspond à vos critères de ciblage. Assurez-vous que votre public ciblé est suffisamment large pour produire des résultats statistiquement significatifs.

Comment Roblox résout les valeurs ciblées

Roblox évalue les expériences en premier, avant toute règle des configurations conditionnelles standard. Lorsqu'une clé de configuration a une expérience active, Roblox résout la valeur dans cet ordre :

1. La valeur de l'expérience active, si le joueur est ciblé et inscrit.
2. La première condition de configuration correspondante.
3. Toute condition de configuration correspondante suivante.
4. La valeur par défaut.

Les joueurs dans le groupe de contrôle reçoivent la valeur que vos règles de configuration existantes produisent. Vous ne pouvez pas exécuter plus d'une expérience active sur la même clé de configuration à la fois.

Évaluation par session

Roblox évalue les attributs de ciblage par session, donc l'éligibilité d'un joueur individuel peut changer au fil du temps :

• Si un joueur correspond à vos critères de ciblage pendant une session, il peut être inscrit et recevoir une variante d'expérience.
• S'il ne correspond plus lors d'une session ultérieure, il cesse de recevoir la valeur de l'expérience et revient immédiatement à vos règles de configuration standard. Si votre expérience nécessite une continuité au-delà de l'éligibilité—par exemple, un flux d'intégration multi-sessions ciblé sur de nouveaux joueurs—conservez la valeur vous-même, par exemple dans un magasin de données.

Les données d'un joueur restent attribuées à la variante (ou au contrôle) dans laquelle il a été inscrit, même s'il ne correspond plus aux critères par la suite. Par exemple, la rétention D7 compte toujours un joueur qui s'est inscrit le jour 0 et s'il est revenu le jour 7, même s'il ne qualifie plus au jour 4.

Changements de configuration pendant qu'une expérience est en cours

Pour éviter la dérive de configuration et les données d'expérience corrompues, Roblox verrouille la clé de configuration au moment où une expérience commence à fonctionner :

• Vous ne pouvez pas modifier ou supprimer la clé de configuration en cours, ni modifier ses valeurs conditionnelles standard.
• Toute condition globale à laquelle la configuration active fait référence est également verrouillée. Vous ne pouvez pas les modifier, les supprimer ou les réorganiser les unes par rapport aux autres.

Le verrou est libéré lorsque l'expérience est terminée.

Ajouter des expériences à votre code

Appliquer des expériences en jeu est similaire à appliquer des configurations. La principale différence est l'utilisation de ConfigService:GetConfigForPlayerAsync() plutôt que ConfigService:GetConfigAsync().

GetConfigForPlayerAsync() récupère un instantané spécifique au joueur. Lorsque vous appelez GetValue(), l'instantané vérifie s'il y a une expérience active et inscrit (ou n'inscrit pas) l'utilisateur en fonction du pourcentage de déploiement.

local ConfigService = game:GetService("ConfigService")
local Players = game:GetService("Players")

local function onPlayerAdded(player)
    local playerConfig = ConfigService:GetConfigForPlayerAsync(player)
    local leaderboardColor = playerConfig:GetValue("leaderboardColor")
end

Players.PlayerAdded:Connect(onPlayerAdded)

• Vous devez appeler GetConfigForPlayerAsync() séparément pour chaque joueur ; GetConfigAsync() n'applique pas les expériences.

• Après avoir appelé GetValue() sur un instantané spécifique au joueur, le joueur associé à l'instantané est inscrit dans l'expérience pour cette clé et cette clé uniquement. Tous les appels suivants à la méthode renvoient le même contrôle ou variante pendant la durée de l'expérience. Seul le premier appel est aléatoire.

  Attendez d'appeler GetValue() jusqu'à ce que vous en ayez besoin. Appeler GetValue() trop tôt peut vous amener à inscrire des joueurs qui n'interagissent jamais avec la partie du jeu sur laquelle vous expérimentez.

• L'inscription aux expériences n'est pas limitée aux nouveaux utilisateurs. Même si un utilisateur a précédemment reçu une valeur de GetConfigAsync(), vous pouvez toujours l'inscrire dans une expérience en utilisant un instantané spécifique au joueur de GetConfigForPlayerAsync().

• Si une clé dans un instantané spécifique au joueur n'a pas d'expérience active, GetValue() renvoie la valeur de configuration standard (ou nil si elle n'a pas de valeur).

Inscription personnalisée

Si vous souhaitez inscrire uniquement les joueurs qui répondent à des critères basés sur l'état en jeu, vous devez écrire du code supplémentaire pour vérifier ces critères et seulement ensuite appeler GetValue() pour les inscrire dans l'expérience. Considérez l'exemple suivant :

• Vous souhaitez tester un nouveau schéma de contrôle dans votre jeu de course.
• Le schéma est destiné aux joueurs avancés, donc vous souhaitez cibler les joueurs qui ont gagné un grand nombre de courses.

Votre code pourrait ressembler à ceci :

local function getControlScheme(player, racesWon)
    if racesWon < 20 then
        return "standardScheme"
    else
        -- Le joueur a de nombreuses victoires, inscrire dans l'expérience
        local playerConfigSnapshot = ConfigService:GetConfigForPlayerAsync(player)
        if playerConfigSnapshot:GetValue("useNewControlScheme") then
            return "newScheme"
        else
            return "standardScheme"
        end
    end
end

Si vous souhaitez que le schéma de contrôle persiste lors des sessions suivantes, vous devrez probablement ajouter une valeur à l'entrée du joueur dans un magasin de données.

Voir et interpréter les résultats

Après qu'une expérience a fonctionné pendant au moins 24 heures, cliquez sur Voir pour voir les détails et les résultats.

Vous pouvez voir le nombre total de joueurs inscrits, ainsi que le nombre de joueurs qui ont reçu la valeur de contrôle et chaque variante. Consulter cette page tôt dans l'expérience est utile uniquement pour s'assurer que l'expérience fonctionne correctement, pas pour prendre des mesures. Avant de prendre des mesures, consultez Meilleures pratiques.

Après la fin de l'expérience, vérifiez l'onglet Résultats. Recherchez des changements statistiquement significatifs dans les indicateurs cibles, que le tableau de bord met en surbrillance en vert ou en rouge. Ces changements sont plus susceptibles de montrer l'impact de votre variante et moins susceptibles d'être des faux positifs ou négatifs.

Survolez n'importe quel indicateur pour voir le bouton Voir la confiance, qui montre l'intervalle de confiance.

Un indicateur est statistiquement significatif lorsque l'intervalle de confiance pour son pourcentage de changement ne chevauche pas 0 %. Dans l'exemple suivant, la rétention D1 est en hausse de 17,4 %, avec des bornes inférieure et supérieure de 8,02 % et 22,03 %, ce qui rend le changement statistiquement significatif.

Pour plus de commodité, la page des résultats vous permet de remplacer la valeur de configuration par défaut par l'une des variantes de l'expérience.

Prendre une décision

Lorsque votre expérience se termine, cliquez sur Prendre une décision pour commencer un déploiement guidé. Roblox affiche tous les avertissements concernant la signification statistique et la durée de l'expérience, puis vous invite à sélectionner une variante gagnante ou à conserver le contrôle. En fonction de votre choix, Roblox déploie le changement approprié dans vos configurations permanentes ; revenir à la page Configurations montre la nouvelle valeur. Cliquez sur Changer de gagnant si vous changez d'avis.

Si vous avez des changements en attente non résolus sur la configuration lorsque vous terminez l'expérience, Roblox les met temporairement de côté et les restaure sur une base de meilleur effort après le déploiement.

Votre décision détermine les changements de configuration que Roblox propose :

• Contrôle : Roblox ne fait aucun changement à vos configurations existantes.

• Variante non ciblée : La valeur de la variante devient la nouvelle valeur par défaut de la configuration. Roblox supprime toutes les autres conditions sur cette clé de configuration, bien qu'elles restent dans votre liste de conditions globales.

• Variante ciblée : Roblox intègre la règle gagnante dans votre configuration permanente en utilisant la première option applicable dans cet ordre de priorité :

  1. Écraser : Si une condition identique se trouve déjà en haut de la configuration, Roblox écrase sa valeur avec la valeur de la variante gagnante.
  2. Ajouter existant : Si une condition globale correspondante existe et se trouverait naturellement en haut, Roblox l'ajoute à la configuration avec la valeur de la variante.
  3. Promouvoir : Si une condition globale correspondante peut être promue en toute sécurité au rang le plus bas nécessaire pour en faire la règle principale de cette configuration (sans modifier d'autres configurations), Roblox l'ajoute à la configuration et la réorganise globalement.
  4. Créer nouveau : Sinon, Roblox crée une nouvelle condition globale classée un niveau au-dessus de la condition la plus élevée actuellement utilisée dans la configuration. Si cela crée une règle dupliquée à l'intérieur de la configuration, Roblox supprime la valeur conditionnelle redondante tout en préservant la règle globale.

Meilleures pratiques pour les expériences

• Utilisez l'effet détectable minimum (MDE) pour décider si votre expérience vaut la peine d'être réalisée.

  Roblox calcule le MDE en utilisant votre indicateur cible et le nombre de joueurs par variante, qui est basé sur les utilisateurs actifs quotidiens, le pourcentage de déploiement, la durée de l'expérience et les répartitions de variantes. Si le MDE est trop élevé pour votre indicateur cible (par exemple, plus de 100 %), il est peu probable que vous puissiez atteindre une signification statistique. Les jeux avec moins de 1 000 utilisateurs actifs quotidiens pourraient avoir du mal à obtenir des données utiles à partir des expériences.

  

• Commencez par une hypothèse. Plutôt que de simplement changer une variable et de vérifier les résultats, rédigez une déclaration de cause à effet sur ce que vous avez changé, ce que vous vous attendez à ce qui se passe et pourquoi. Au fur et à mesure que vous expérimentez de plus en plus, avoir un ensemble d'hypothèses écrites pour accompagner vos résultats peut aider à clarifier votre réflexion et à susciter de nouvelles idées pour des expériences.

• Laissez les expériences fonctionner pendant leur durée complète. L'effet de nouveauté (intérêt temporaire pour un changement non pas parce qu'il est meilleur, mais parce qu'il est nouveau) peut fortement fausser les résultats précoces, les faisant parfois osciller dans et hors de la signification statistique. Mettre fin aux expériences trop tôt augmente les chances que vous preniez des mesures prématurées basées sur des pics anormaux que plus de données auraient atténués ou même contredits.

• N'agissez pas sans signification statistique. Même des changements apparemment importants dans le comportement des joueurs peuvent ne pas être statistiquement significatifs, généralement en raison d'une petite taille d'échantillon. Si un changement n'est pas statistiquement significatif, ignorez-le.

• Évitez les changements pendant les expériences. Les bugs majeurs doivent bien sûr être corrigés, mais les changements de contenu du jeu peuvent impacter le comportement des joueurs et invalider vos résultats, même si les changements semblent sans rapport avec votre expérience. De même, ne réalisez des expériences simultanément que si vous êtes sûr qu'elles n'interagiront pas entre elles.

• Utilisez des intervalles de confiance pour des analyses approfondies des indicateurs et pour vérifier les cas limites de signification statistique. Si l'intervalle de confiance est trop large, l'indicateur pourrait ne jamais atteindre une signification statistique.

• Si un indicateur est significativement en hausse et un autre significativement en baisse, vous devez décider si le compromis en vaut la peine, peut-être en conjonction avec d'autres mouvements statistiquement significatifs.

• Les expériences fournissent un signal fort, mais la signification statistique traite des probabilités, pas des certitudes—d'où l'intervalle de confiance. La variabilité des données, la taille de l'échantillon et l'ampleur du changement impactent tous la probabilité de détecter si une variante a affecté le comportement des joueurs. Toute action que vous prenez sur la base des résultats d'une expérience doit être équilibrée par des données qualitatives telles que les retours des joueurs et votre vision globale du jeu.

• Documentez vos découvertes et décisions. Même si vous ne les utilisez pas pour réaliser des expériences supplémentaires, avoir un corpus de connaissances et de preuves peut informer la manière dont vous concevez vos jeux.