Expériences

Expériences vous permettent de réaliser des tests A/B en jeu et de matchmaking pour mesurer l'impact causal des changements apportés à votre jeu. Par exemple, vous pouvez proposer différentes expériences d'intégration à différents joueurs et mesurer la différence en termes de temps de jeu, de rétention et d'autres indicateurs clés de performance.

Les expériences sont excellentes pour mesurer les éléments suivants :

• Engagement - Flux d'intégration, systèmes de progression, schémas de contrôle, matchmaking personnalisé
• Monétisation - Visibilité de la boutique et expérience utilisateur, types de packs de démarrage, tarification

Créer des expériences

Les expériences se présentent sous deux types :

• Les expériences En jeu vous permettent de mesurer l'impact de différentes valeurs de configuration.
• Les expériences de matchmaking vous permettent de mesurer l'impact de différentes configurations de matchmaking personnalisées. Contrairement aux expériences en jeu, vous ne pouvez exécuter qu'une seule expérience de matchmaking à la fois.

1. Si vous n'avez pas déjà une configuration, créez-en une pour votre jeu.

2. Sur la page Expériences du Creator Hub pour votre jeu, cliquez sur Créer une expérience.

3. Pour le Type, choisissez En expérience.

4. Spécifiez un nom, un indicateur de performance cible et une durée prévue pour l'expérience. Les expériences durent entre 14 et 60 jours.

   Quelle que soit la métrique que vous choisissez comme indicateur de performance cible, les expériences suivent toutes les métriques de la liste.

5. Choisissez un pourcentage de déploiement. Ce nombre est le pourcentage de joueurs que vous souhaitez inclure dans l'expérience.

   En général, plus vous incluez de personnes dans une expérience, meilleures sont les données, mais utilisez votre jugement sur ce qui est le mieux pour votre jeu.

   Faites attention à l'effet détectable minimum, qui est le plus petit changement dans la métrique choisie que l'expérience peut détecter de manière fiable.

6. Spécifiez les variantes et les pourcentages.

   Les variantes sont des valeurs alternatives pour votre configuration. Pour une clé de configuration numérique bossHealth avec une valeur de contrôle de 500, vous pourriez spécifier une variante de 300. Vous pouvez avoir jusqu'à deux variantes et une valeur de contrôle dans une expérience.

   Les pourcentages déterminent comment attribuer les variantes dans le déploiement de l'expérience. Considérez l'exemple suivant :

   • Vous choisissez un déploiement global de 40 %.
   • Vous spécifiez deux variantes et une répartition 50/50 entre elles et le contrôle.

   Dans cet exemple, 60 % de vos utilisateurs sont exclus de l'expérience ; ces utilisateurs reçoivent le contrôle et n'ont aucun impact sur les résultats de l'expérience. Environ 20 % de vos utilisateurs reçoivent le contrôle dans le cadre de l'expérience. 20 % supplémentaires reçoivent la variante. En fonction de votre nombre de joueurs, cette répartition pourrait ne pas être suffisamment large pour donner des résultats exploitables.

   En cas de doute, nous recommandons des expériences simples de 50/50 avec une variante et un contrôle sur de grands déploiements. Les expériences sont plus faciles à configurer et les résultats sont plus faciles à interpréter.

   

7. La dernière étape est la planification. Vous pouvez commencer les expériences immédiatement ou les programmer pour une date et une heure ultérieures. Une fois que vous programmez une expérience, vous ne pouvez pas modifier sa configuration (durée, pourcentage de déploiement, variantes, etc.), mais vous pouvez la reprogrammer.

Métriques

Les expériences suivent toutes les métriques suivantes pendant la durée de l'expérience.

Statut de l'expérience

La page Expériences affiche les statuts suivants pour les expériences.

Ajouter des expériences à votre code

Appliquer des expériences en jeu est similaire à l'application de configurations. La principale différence est l'utilisation de ConfigService:GetConfigForPlayerAsync() plutôt que ConfigService:GetConfigAsync().

GetConfigForPlayerAsync() récupère un instantané spécifique au joueur. Lorsque vous appelez GetValue(), l'instantané vérifie s'il y a une expérience active et inscrit (ou n'inscrit pas) l'utilisateur en fonction du pourcentage de déploiement.

local ConfigService = game:GetService("ConfigService")
local Players = game:GetService("Players")

local function onPlayerAdded(player)
    local playerConfig = ConfigService:GetConfigForPlayerAsync(player)
    local leaderboardColor = playerConfig:GetValue("leaderboardColor")
end

Players.PlayerAdded:Connect(onPlayerAdded)

• Vous devez appeler GetConfigForPlayerAsync() séparément pour chaque joueur ; GetConfigAsync() n'applique pas d'expériences.

• Après avoir appelé GetValue() sur un instantané spécifique au joueur, le joueur associé à l'instantané est inscrit dans l'expérience pour cette clé et uniquement cette clé. Tous les appels ultérieurs à la méthode renvoient la même valeur de contrôle ou variante pendant la durée de l'expérience. Seul le premier appel est aléatoire.

  Attendez d'appeler GetValue() jusqu'à ce que vous en ayez besoin. Appeler GetValue() trop tôt peut vous amener à inscrire des joueurs qui n'interagissent jamais avec la partie du jeu sur laquelle vous expérimentez.

• L'inscription aux expériences n'est pas limitée aux nouveaux utilisateurs. Même si un utilisateur a déjà reçu une valeur de GetConfigAsync(), vous pouvez toujours l'inscrire dans une expérience en utilisant un instantané spécifique au joueur de GetConfigForPlayerAsync().

• Si une clé dans un instantané spécifique au joueur n'a pas d'expérience active, GetValue() renvoie la valeur de configuration standard (ou nil si elle n'a pas de valeur).

Inscription ciblée

Si vous souhaitez cibler une partie de vos joueurs qui répondent à des critères spécifiques, vous devez écrire du code supplémentaire pour vérifier ces critères et seulement ensuite appeler GetValue() pour les inscrire dans l'expérience. Considérez l'exemple suivant :

• Vous souhaitez tester un nouveau schéma de contrôle dans votre jeu.
• Vous ne voulez pas inclure les joueurs existants (qui sont probablement habitués au schéma actuel), uniquement les nouveaux joueurs.

Votre code pourrait ressembler à ceci :

local function getControlScheme(player, racesCompleted)
    if racesCompleted > 0 then
        return "standardScheme"
    else
        -- Le joueur est nouveau, s'inscrire à l'expérience
        local playerConfigSnapshot = ConfigService:GetConfigForPlayerAsync(player)
        if playerConfigSnapshot:GetValue("useNewControlScheme") then
            return "newScheme"
        else
            return "standardScheme"
        end
    end
end

Si vous souhaitez que le schéma de contrôle persiste lors des sessions suivantes, vous devez probablement ajouter une valeur à l'entrée du joueur dans un magasin de données.

Voir et interpréter les résultats

Après qu'une expérience a duré au moins 24 heures, cliquez sur Voir pour voir les détails et les résultats.

Vous pouvez voir le nombre total de joueurs inscrits, ainsi que le nombre de joueurs ayant reçu la valeur de contrôle et chaque variante. Visionner cette page tôt dans l'expérience est utile uniquement pour s'assurer que l'expérience fonctionne correctement, pas pour prendre des mesures. Avant de prendre des mesures, consultez Meilleures pratiques.

Après la fin de l'expérience, vérifiez l'onglet Résultats. Recherchez des changements statistiquement significatifs dans les indicateurs cibles, qui sont mis en évidence en vert ou en rouge par le tableau de bord. Ces changements sont plus susceptibles de montrer l'impact de votre variante et moins susceptibles d'être des faux positifs ou des faux négatifs.

Survolez n'importe quelle métrique pour voir le bouton Afficher la confiance, qui montre l'intervalle de confiance.

Une métrique est statistiquement significative lorsque l'intervalle de confiance pour son pourcentage de changement ne chevauche pas 0 %. Dans l'exemple suivant, la rétention D1 est en hausse de 17.4 %, avec des bornes inférieure et supérieure de 8.02 % et 22.03 %, ce qui rend le changement statistiquement significatif.

Pour plus de commodité, la page des résultats vous permet de remplacer la valeur de configuration par défaut par l'une des variantes de l'expérience. Cliquez sur Prendre une décision pour choisir une variante ou Changer de gagnant si vous changez d'avis. Si vous revenez ensuite à la page Configurations, vous devriez voir la nouvelle valeur.

Meilleures pratiques pour les expériences

• Utilisez l'effet détectable minimum (MDE) pour décider si votre expérience vaut la peine d'être lancée.

  Roblox calcule le MDE en utilisant votre indicateur de performance cible et le nombre de joueurs par variante, qui est basé sur les utilisateurs actifs quotidiens, le pourcentage de déploiement, la durée de l'expérience et les répartitions de variantes. Si le MDE est trop élevé pour votre indicateur de performance cible (par exemple, plus de 100 %), il est peu probable que vous puissiez atteindre une signification statistique. Les jeux ayant moins de 1 000 utilisateurs actifs quotidiens pourraient avoir du mal à obtenir des données utiles à partir des expériences.

  

• Commencez par une hypothèse. Plutôt que de simplement changer une variable et de vérifier les résultats, rédigez une déclaration de cause et d'effet sur ce que vous avez changé, ce que vous attendez et pourquoi. À mesure que vous expérimentez de plus en plus, avoir un ensemble d'hypothèses écrites pour accompagner vos résultats peut aider à clarifier votre réflexion et stimuler de nouvelles idées pour des expériences.

• Laissez les expériences se dérouler pendant leur durée complète. L'effet de nouveauté (intérêt temporaire pour un changement non pas parce qu'il est meilleur, mais parce qu'il est nouveau) peut fortement fausser les résultats précoces, les entraînant parfois à osciller dans et hors de la signification statistique. Mettre fin aux expériences trop tôt augmente les chances de prendre des mesures prématurées basées sur des pics anormaux que des données supplémentaires auraient lissées ou même contredites.

• N'agissez pas sans significativité statistique. Même des changements apparemment importants dans le comportement des joueurs pourraient ne pas être statistiquement significatifs, généralement en raison d'une petite taille d'échantillon. Si un changement n'est pas statistiquement significatif, ignorez-le.

• Évitez les changements pendant les expériences. Les bugs majeurs doivent bien sûr être corrigés, mais les changements dans le contenu expérimental peuvent impacter le comportement des joueurs et invalider vos résultats, même si ces changements semblent non liés à votre expérience. De même, ne réalisez des expériences simultanément que si vous êtes sûr qu'elles n'interagiront pas entre elles.

• Utilisez des intervalles de confiance pour des examens approfondis des métriques et pour vérifier les cas limites de significativité statistique. Si l'intervalle de confiance est trop large, la métrique pourrait ne jamais atteindre une significativité statistique.

• Si une métrique est significativement en hausse et une autre significativement en baisse, vous devez décider si le compromis en vaut la peine, éventuellement en conjonction avec d'autres mouvements statistiquement significatifs.

• Les expériences fournissent un signal fort, mais la significativité statistique traite des probabilités, pas des certitudes—d'où l'intervalle de confiance. La variabilité des données, la taille de l'échantillon et l'ampleur du changement impactent tous la probabilité de détecter si une variante a affecté le comportement des joueurs. Toute action que vous entreprenez en fonction des résultats d'une expérience doit être équilibrée par des données qualitatives telles que les retours des joueurs et votre vision globale pour le jeu.

• Documentez vos découvertes et décisions. Même si vous ne les utilisez pas pour réaliser des expériences supplémentaires, avoir un corpus de connaissances et de preuves peut informer comment vous concevez vos jeux.