Experimente

Experimente ermöglichen es Ihnen, In-Game- und Matchmaking-A/B-Tests durchzuführen, um die ursächlichen Auswirkungen von Änderungen an Ihrem Spiel zu messen. Zum Beispiel können Sie unterschiedlichen Spielern verschiedene Onboarding-Erlebnisse zeigen und den Unterschied in Spielzeit, Bindung und anderen wichtigen Leistungskennzahlen messen.

Experimente sind hervorragend geeignet, um Folgendes zu messen:

• Engagement - Onboarding-Flows, Fortschrittssysteme, Steuerungsschemata, benutzerdefiniertes Matchmaking
• Monetarisierung - Sichtbarkeit und Benutzererfahrung im Shop, Arten von Starter-Paketen, Preisgestaltung

Experimente erstellen

Experimente gibt es in zwei Typen:

• In-Game-Experimente ermöglichen es Ihnen, die Auswirkungen verschiedener Konfigurationswerte zu messen.
• Matchmaking-Experimente ermöglichen es Ihnen, die Auswirkungen verschiedener benutzerdefinierter Matchmaking-Konfigurationen zu messen. Im Gegensatz zu In-Game-Experimenten können Sie nur ein Matchmaking-Experiment gleichzeitig durchführen.

1. Wenn Sie noch keine Konfiguration haben, erstellen Sie eine für Ihr Spiel.

2. Gehen Sie auf die Creator Hub Experimente-Seite für Ihr Spiel und klicken Sie auf Experiment erstellen.

3. Wählen Sie für Typ die Option In-Erlebnis.

4. Geben Sie einen Namen, eine Zielmetrik und eine geplante Dauer für das Experiment an. Experimente laufen zwischen 14 und 60 Tagen.

   Unabhängig davon, was Sie als Ihre Zielmetrik wählen, verfolgen Experimente alle Metriken in der Liste.

5. Wählen Sie einen prozentualen Rollout. Diese Zahl ist der Prozentsatz der Spieler, die Sie in das Experiment einbeziehen möchten.

   Im Allgemeinen gilt: Je mehr Personen Sie in ein Experiment einbeziehen, desto besser sind die Daten, aber verwenden Sie Ihr Urteil darüber, was für Ihr Spiel am besten ist.

   Achten Sie auf den minimalen nachweisbaren Effekt, der die kleinste Änderung in der ausgewählten Metrik ist, die das Experiment zuverlässig erkennen kann.

6. Geben Sie Varianten und Prozentsätze an.

   Varianten sind alternative Werte für Ihre Konfiguration. Für einen numerischen Konfigurationsschlüssel bossHealth mit einem Kontrollwert von 500 könnten Sie eine Variante von 300 angeben. Sie können bis zu zwei Varianten und eine Kontrolle in einem Experiment haben.

   Prozentsätze bestimmen, wie Varianten innerhalb des Experimentrollouts zugewiesen werden. Betrachten Sie das folgende Beispiel:

   • Sie wählen einen Gesamtrollout von 40 %.
   • Sie geben zwei Varianten und eine 50/50-Aufteilung zwischen ihnen und der Kontrolle an.

   In diesem Beispiel sind 60 % Ihrer Benutzer vom Experiment ausgeschlossen; diese Benutzer erhalten die Kontrolle und haben keinen Einfluss auf die Ergebnisse des Experiments. Ungefähr 20 % Ihrer Benutzer erhalten die Kontrolle als Teil des Experiments. Weitere 20 % erhalten die Variante. Abhängig von Ihrer Spieleranzahl könnte diese Verteilung nicht groß genug sein, um umsetzbare Ergebnisse zu erzielen.

   Wenn Sie sich unsicher sind, empfehlen wir einfache 50/50-Experimente mit einer Variante und einer Kontrolle bei großen Rollouts. Die Experimente sind einfacher zu konfigurieren, und die Ergebnisse sind leichter zu interpretieren.

   

7. (Optional) Richten Sie das Experiment auf ein bestimmtes Publikum aus, sodass nur übereinstimmende Spieler für die Teilnahme in Frage kommen. Die Zielgruppenansprache verwendet dieselben Spielerattribute wie bedingte Konfigurationen, und Sie können vorhandene Bedingungen direkt aus Ihren Konfigurationen kopieren. Weitere Informationen finden Sie unter Experimente auf bestimmte Zielgruppen ausrichten.

   

8. Der letzte Schritt ist die Planung. Sie können Experimente sofort starten oder sie für ein späteres Datum und eine spätere Uhrzeit planen. Nachdem Sie ein Experiment geplant haben, können Sie seine Konfiguration (Dauer, Rollout-Prozentsatz, Varianten usw.) nicht mehr ändern, aber Sie können es neu planen.

Metriken

Experimente verfolgen alle folgenden Metriken über die Dauer des Experiments.

Experimentstatus

Die Experimente-Seite zeigt die folgenden Status für Experimente an.

Experimente auf bestimmte Zielgruppen ausrichten

Standardmäßig kann ein In-Game-Experiment jeden Spieler in Ihrem Rollout-Prozentsatz einschreiben. Zielgruppenansprache ermöglicht es Ihnen, das Experiment stattdessen auf ein bestimmtes Publikum auszurichten, z. B. Spieler in bestimmten Ländern, spezifischen Zeitfenstern oder aktiven Ausgabestufen. Die Zielgruppenansprache verwendet dieselben Attribute wie Konfigurationszielgruppen.

Zielgerichtete Experimente einrichten

Sie konfigurieren die Zielkriterien, wenn Sie das Experiment erstellen. Nachdem das Experiment gestartet ist, können Sie die Zielregeln, den Kontrollwert, die Varianten oder irgendwelche bedingten Regeln, die der Konfigurationsschlüssel verwendet, nicht mehr ändern.

Sie können vorhandene bedingte Regeln aus Ihren Konfigurationen wiederverwenden, um Ihre Zielgruppenansprache zu definieren, aber das Experiment speichert eine unabhängige Kopie jeder Regel. Das Bearbeiten oder Löschen der ursprünglichen Konfigurationsbedingung hat später keine Auswirkungen auf die Zielgruppenansprache des Experiments.

Da die Eingrenzung Ihres Publikums die Stichprobengröße verringert, aktualisiert Roblox den minimalen nachweisbaren Effekt (MDE) mithilfe einer Schätzung des Publikums, das Ihren Zielkriterien entspricht. Stellen Sie sicher, dass Ihr Zielpublikum groß genug ist, um statistisch signifikante Ergebnisse zu erzielen.

Wie Roblox gezielte Werte auflöst

Roblox bewertet Experimente zuerst, bevor irgendwelche Regeln von standardmäßigen bedingten Konfigurationen angewendet werden. Wenn ein Konfigurationsschlüssel ein aktives Experiment hat, löst Roblox den Wert in dieser Reihenfolge auf:

1. Der aktive Experimentwert, wenn der Spieler gezielt und eingeschrieben ist.
2. Die erste übereinstimmende Konfigurationsbedingung.
3. Alle nachfolgenden übereinstimmenden Konfigurationsbedingungen.
4. Der Standardwert.

Spieler in der Kontrollgruppe erhalten den Wert, den Ihre vorhandenen Konfigurationsregeln erzeugen. Sie können nicht mehr als ein aktives Experiment auf demselben Konfigurationsschlüssel gleichzeitig durchführen.

Bewertung pro Sitzung

Roblox bewertet Zielattribute pro Sitzung, sodass sich die Berechtigung eines einzelnen Spielers im Laufe der Zeit ändern kann:

• Wenn ein Spieler während einer Sitzung Ihren Zielkriterien entspricht, kann er eingeschrieben werden und erhält eine Experimentvariante.
• Wenn er in einer späteren Sitzung nicht mehr übereinstimmt, hört er auf, den Experimentwert zu erhalten und fällt sofort auf Ihre Standardkonfigurationsregeln zurück. Wenn Ihr Experiment Kontinuität über die Berechtigung hinaus benötigt – zum Beispiel einen mehrstufigen Onboarding-Flow, der auf neue Spieler abzielt – speichern Sie den Wert selbst, z. B. in einem Datenstore.

Die Daten eines Spielers bleiben der Variante (oder Kontrolle) zugeordnet, in der er eingeschrieben war, auch wenn er später nicht mehr den Kriterien entspricht. Zum Beispiel zählt die D7-Bindung weiterhin einen Spieler, der am Tag 0 eingeschrieben wurde und ob er am Tag 7 zurückgekehrt ist, auch wenn er am Tag 4 nicht mehr qualifiziert ist.

Änderungen an der Konfiguration während eines Experiments

Um Konfigurationsabweichungen und beschädigte Experimentdaten zu vermeiden, sperrt Roblox den Konfigurationsschlüssel, sobald ein Experiment zu laufen beginnt:

• Sie können den laufenden Konfigurationsschlüssel nicht bearbeiten oder löschen, noch können Sie seine standardmäßigen bedingten Werte ändern.
• Alle globalen Bedingungen, auf die die aktive Konfiguration verweist, sind ebenfalls gesperrt. Sie können sie nicht bearbeiten, löschen oder in Bezug aufeinander umsortieren.

Die Sperre wird aufgehoben, wenn das Experiment abgeschlossen ist.

Fügen Sie Experimente zu Ihrem Code hinzu

Die Anwendung von In-Game-Experimenten ähnelt der Anwendung von Konfigurationen. Der Hauptunterschied besteht in der Verwendung von ConfigService:GetConfigForPlayerAsync() anstelle von ConfigService:GetConfigAsync().

GetConfigForPlayerAsync() ruft einen spielerspezifischen Snapshot ab. Wenn Sie GetValue() aufrufen, überprüft der Snapshot, ob ein aktives Experiment vorliegt, und meldet (oder meldet nicht) den Benutzer basierend auf dem Rollout-Prozentsatz an.

local ConfigService = game:GetService("ConfigService")
local Players = game:GetService("Players")

local function onPlayerAdded(player)
    local playerConfig = ConfigService:GetConfigForPlayerAsync(player)
    local leaderboardColor = playerConfig:GetValue("leaderboardColor")
end

Players.PlayerAdded:Connect(onPlayerAdded)

• Sie müssen GetConfigForPlayerAsync() separat für jeden Spieler aufrufen; GetConfigAsync() wendet keine Experimente an.

• Nachdem Sie GetValue() auf einem spielerspezifischen Snapshot aufgerufen haben, ist der Spieler, der mit dem Snapshot verbunden ist, für dieses Schlüssel und nur für dieses Schlüssel im Experiment eingeschrieben. Alle nachfolgenden Aufrufe der Methode geben für die Dauer des Experiments dasselbe Kontroll- oder Variantenwert zurück. Nur der erste Aufruf ist zufällig.

  Warten Sie, bis Sie GetValue() aufrufen, bis Sie es benötigen. Ein zu frühes Aufrufen von GetValue() kann dazu führen, dass Sie Spieler anmelden, die nie mit dem Teil des Spiels interagieren, an dem Sie experimentieren.

• Die Einschreibung in Experimente ist nicht auf neue Benutzer beschränkt. Selbst wenn ein Benutzer zuvor einen Wert von GetConfigAsync() erhalten hat, können Sie ihn weiterhin in ein Experiment einschreiben, indem Sie einen spielerspezifischen Snapshot von GetConfigForPlayerAsync() verwenden.

• Wenn ein Schlüssel in einem spielerspezifischen Snapshot kein aktives Experiment hat, gibt GetValue() den Standardkonfigurationswert zurück (oder nil, wenn er keinen Wert hat).

Benutzerdefinierte Einschreibung

Wenn Sie nur Spieler einschreiben möchten, die Kriterien basierend auf dem In-Game-Zustand erfüllen, müssen Sie zusätzlichen Code schreiben, um diese Kriterien zu überprüfen und erst dann GetValue() aufzurufen, um sie im Experiment einzuschreiben. Betrachten Sie das folgende Beispiel:

• Sie möchten ein neues Steuerungsschema in Ihrem Rennspiel testen.
• Das Schema ist für fortgeschrittene Spieler, daher möchten Sie Spieler ansprechen, die eine große Anzahl von Rennen gewonnen haben.

Ihr Code könnte ungefähr so aussehen:

local function getControlScheme(player, racesWon)
    if racesWon < 20 then
        return "standardScheme"
    else
        -- Spieler hat viele Siege, im Experiment anmelden
        local playerConfigSnapshot = ConfigService:GetConfigForPlayerAsync(player)
        if playerConfigSnapshot:GetValue("useNewControlScheme") then
            return "newScheme"
        else
            return "standardScheme"
        end
    end
end

Wenn Sie möchten, dass das Steuerungsschema in nachfolgenden Sitzungen bestehen bleibt, müssen Sie wahrscheinlich einen Wert im Datenspeicher für den Spieler hinzufügen.

Ergebnisse anzeigen und interpretieren

Nachdem ein Experiment mindestens 24 Stunden gelaufen ist, klicken Sie auf Anzeigen, um Details und Ergebnisse zu sehen.

Sie können die Gesamtzahl der eingeschriebenen Spieler sowie die Anzahl der Spieler sehen, die den Kontrollwert und jede Variante erhalten haben. Diese Seite früh im Experiment zu betrachten, ist nützlich, um sicherzustellen, dass das Experiment ordnungsgemäß läuft, nicht um Maßnahmen zu ergreifen. Bevor Sie Maßnahmen ergreifen, siehe Best Practices.

Nachdem das Experiment abgeschlossen ist, überprüfen Sie die Ergebnisse-Registerkarte. Achten Sie auf statistisch signifikante Änderungen in den Zielmetriken, die im Dashboard grün oder rot hervorgehoben sind. Diese Änderungen zeigen eher die Auswirkungen Ihrer Variante und sind weniger wahrscheinlich falsch positiv oder negativ.

Fahren Sie mit der Maus über eine Metrik, um die Schaltfläche Vertrauen anzeigen zu sehen, die das Vertrauensintervall anzeigt.

Eine Metrik ist statistisch signifikant, wenn das Vertrauensintervall für ihre prozentuale Änderung nicht mit 0 % überlappt. Im folgenden Beispiel ist die D1-Bindung um 17,4 % gestiegen, mit unteren und oberen Grenzen von 8,02 % und 22,03 %, was die Änderung statistisch signifikant macht.

Zur Vereinfachung ermöglicht die Ergebnisseite, den Standardkonfigurationswert durch einen der Varianten aus dem Experiment zu ersetzen.

Eine Entscheidung treffen

Wenn Ihr Experiment abgeschlossen ist, klicken Sie auf Entscheidung treffen, um einen geführten Rollout zu starten. Roblox zeigt alle Warnungen zu statistischer Signifikanz und Experimentdauer an und fordert Sie dann auf, eine gewinnende Variante auszuwählen oder die Kontrolle beizubehalten. Basierend auf Ihrer Wahl rollt Roblox die entsprechende Änderung in Ihre permanenten Konfigurationen aus; die Rückkehr zur Konfigurationen-Seite zeigt den neuen Wert. Klicken Sie auf Gewinner ändern, wenn Sie Ihre Meinung ändern.

Wenn Sie bei Abschluss des Experiments nicht gelöste gestaffelte Änderungen an der Konfiguration haben, speichert Roblox diese vorübergehend und stellt sie nach dem Rollout nach bestem Ermessen wieder her.

Ihre Entscheidung bestimmt die Konfigurationsänderungen, die Roblox vorschlägt:

• Kontrolle: Roblox nimmt keine Änderungen an Ihren vorhandenen Konfigurationen vor.

• Nicht gezielte Variante: Der Variantenwert wird der neue Standardwert der Konfiguration. Roblox entfernt alle anderen Bedingungen zu diesem Konfigurationsschlüssel, obwohl sie in Ihrer Liste globaler Bedingungen verbleiben.

• Gezielte Variante: Roblox integriert die gewinnende Regel wieder in Ihre permanente Konfiguration, indem es die erste anwendbare Option in dieser Prioritätsreihenfolge verwendet:

  1. Überschreiben: Wenn eine identische Bedingung bereits an der Spitze der Konfiguration steht, überschreibt Roblox ihren Wert mit dem Wert der gewinnenden Variante.
  2. Vorhandenes hinzufügen: Wenn eine übereinstimmende globale Bedingung existiert und natürlich an der Spitze stehen würde, fügt Roblox sie der Konfiguration mit dem Wert der Variante hinzu.
  3. Hochstufen: Wenn eine übereinstimmende globale Bedingung sicher auf den niedrigsten Rang hochgestuft werden kann, der erforderlich ist, um sie zur obersten Regel in dieser Konfiguration zu machen (ohne andere Konfigurationen zu ändern), fügt Roblox sie der Konfiguration hinzu und sortiert sie global um.
  4. Neu erstellen: Andernfalls erstellt Roblox eine neue globale Bedingung, die einen Rang über der höchsten Bedingung liegt, die derzeit in der Konfiguration verwendet wird. Wenn dies eine doppelte Regel innerhalb der Konfiguration erzeugt, entfernt Roblox den redundanten bedingten Wert, während die globale Regel erhalten bleibt.

Best Practices für Experimente

• Verwenden Sie den minimalen nachweisbaren Effekt (MDE), um zu entscheiden, ob Ihr Experiment es wert ist, durchgeführt zu werden.

  Roblox berechnet den MDE anhand Ihrer Zielmetrik und der Anzahl der Spieler pro Variante, die auf täglichen aktiven Benutzern, Rollout-Prozentsatz, Experimentdauer und Variantenaufteilungen basieren. Wenn der MDE für Ihre Zielmetrik zu hoch ist (zum Beispiel mehr als 100 %), ist es unwahrscheinlich, dass Sie statistische Signifikanz erreichen können. Spiele mit weniger als 1.000 täglichen aktiven Benutzern könnten Schwierigkeiten haben, nützliche Daten aus Experimenten zu gewinnen.

  

• Beginnen Sie mit einer Hypothese. Anstatt einfach eine Variable zu ändern und die Ergebnisse zu überprüfen, schreiben Sie eine Ursache-Wirkung-Aussage darüber, was Sie geändert haben, was Sie erwarten, dass passiert, und warum. Wenn Sie immer mehr experimentieren, kann es hilfreich sein, eine Reihe schriftlicher Hypothesen zu haben, die Ihre Ergebnisse begleiten, um Ihr Denken zu klären und neue Ideen für Experimente zu inspirieren.

• Lassen Sie Experimente ihre volle Dauer laufen. Der Neuheitseffekt (vorübergehendes Interesse an einer Änderung, nicht weil sie besser ist, sondern weil sie neu ist) kann frühe Ergebnisse stark verzerren und manchmal dazu führen, dass sie in und aus der statistischen Signifikanz schwanken. Experimente vorzeitig zu beenden erhöht die Wahrscheinlichkeit, dass Sie voreilige Maßnahmen auf der Grundlage anomaler Spitzen ergreifen, die mehr Daten geglättet oder sogar widerlegt hätten.

• Handeln Sie nicht ohne statistische Signifikanz. Selbst scheinbar große Änderungen im Spieler Verhalten sind möglicherweise nicht statistisch signifikant, in der Regel aufgrund einer kleinen Stichprobengröße. Wenn eine Änderung nicht statistisch signifikant ist, ignorieren Sie sie.

• Vermeiden Sie Änderungen während Experimente. Größere Fehler müssen natürlich behoben werden, aber Änderungen am Spielinhalt können das Spieler Verhalten beeinflussen und Ihre Ergebnisse ungültig machen, selbst wenn die Änderungen scheinbar nichts mit Ihrem Experiment zu tun haben. Führen Sie auch nur dann Experimente gleichzeitig durch, wenn Sie sicher sind, dass sie sich nicht gegenseitig beeinflussen.

• Verwenden Sie Vertrauensintervalle für tiefere Einblicke in Metriken und um nach Grenzfällen statistischer Signifikanz zu suchen. Wenn das Vertrauensintervall zu breit ist, könnte die Metrik niemals statistische Signifikanz erreichen.

• Wenn eine Metrik signifikant steigt und eine andere signifikant sinkt, müssen Sie entscheiden, ob der Kompromiss es wert ist, möglicherweise in Verbindung mit anderen statistisch signifikanten Bewegungen.

• Experimente liefern starke Signale, aber statistische Signifikanz handelt von Wahrscheinlichkeiten, nicht von Gewissheiten – daher das Vertrauensintervall. Datenvariabilität, Stichprobengröße und die Größe der Änderung beeinflussen alle die Wahrscheinlichkeit, dass erkannt wird, ob eine Variante das Spieler Verhalten beeinflusst hat. Jede Maßnahme, die Sie auf der Grundlage der Ergebnisse eines Experiments ergreifen, sollte gegen qualitative Daten wie Spielerfeedback und Ihre Gesamtvision für das Spiel abgewogen werden.

• Dokumentieren Sie Ihre Erkenntnisse und Entscheidungen. Selbst wenn Sie sie nicht verwenden, um zusätzliche Experimente durchzuführen, kann ein Wissens- und Beweisbestand darüber informieren, wie Sie Ihre Spiele gestalten.