Experimente

Experimente ermöglichen es Ihnen, In-Game- und Matchmaking-A/B-Tests durchzuführen, um die ursächlichen Auswirkungen von Änderungen an Ihrem Spiel zu messen. Zum Beispiel können Sie unterschiedlichen Spielern verschiedene Onboarding-Erlebnisse zeigen und den Unterschied in Spielzeit, Bindung und anderen wichtigen Leistungskennzahlen messen.

Experimente sind hervorragend geeignet, um Folgendes zu messen:

• Engagement - Onboarding-Flows, Fortschrittssysteme, Steuerungsschemata, benutzerdefiniertes Matchmaking
• Monetarisierung - Sichtbarkeit des Shops und Benutzererfahrung, Arten von Starter-Paketen, Preisgestaltung

Experimente erstellen

Experimente gibt es in zwei Typen:

• In-Game-Experimente ermöglichen es Ihnen, die Auswirkungen verschiedener Konfigurationswerte zu messen.
• Matchmaking-Experimente ermöglichen es Ihnen, die Auswirkungen verschiedener benutzerdefinierter Matchmaking-Konfigurationen zu messen. Im Gegensatz zu In-Game-Experimenten können Sie nur ein Matchmaking-Experiment gleichzeitig durchführen.

1. Wenn Sie noch keine Konfiguration haben, erstellen Sie eine für Ihr Spiel.

2. Gehen Sie auf die Creator Hub Experimente-Seite für Ihr Spiel und klicken Sie auf Experiment erstellen.

3. Wählen Sie für Typ die Option In-Erlebnis.

4. Geben Sie einen Namen für das Experiment an.

5. Wählen Sie für Metrikset das Set von Metriken aus, das Sie für das Experiment verfolgen möchten:

   Metrikset	Was es verfolgt
   Standard	Standard-Leistungs- und Engagement-Metriken wie ARPU, Sitzungszeit und Bindung neuer Benutzer.
   Einnahmen durch belohnte Videos	Metriken für belohnte Videoanzeigen: Opt-in-Rate, Häufigkeit, Impressionen, Anzeigen-Einnahmen und Gesamteinnahmen pro Benutzer, plus Standard-Engagement-, Bindungs- und Monetarisierungsmetriken.
   Benutzerdefiniert	Die Standardmetriken plus bis zu drei benutzerdefinierte Metriken, die Sie aus Ihren benutzerdefinierten, Wirtschafts und Trichter Ereignissen definieren.

   

6. Geben Sie eine Zielmetrik und die geplante Dauer für das Experiment an. Experimente laufen zwischen 14 und 60 Tagen.

   Unabhängig davon, was Sie als Ihre Zielmetrik wählen, verfolgen Experimente alle Metriken im Metrikset. Wenn Sie das Metrikset Einnahmen durch belohnte Videos wählen, legt Roblox die Zielmetriken für Sie fest, sodass Sie nur die Dauer angeben müssen.

7. Wählen Sie einen prozentualen Rollout. Diese Zahl ist der Prozentsatz der Spieler, die Sie in das Experiment einbeziehen möchten.

   Im Allgemeinen gilt: Je mehr Personen Sie in ein Experiment einbeziehen, desto besser sind die Daten, aber verwenden Sie Ihr Urteil darüber, was für Ihr Spiel am besten ist.

   Achten Sie auf den minimalen nachweisbaren Effekt, der die kleinste Änderung in der ausgewählten Metrik ist, die das Experiment zuverlässig erkennen kann.

8. Geben Sie Varianten und Prozentsätze an.

   Varianten sind alternative Werte für Ihre Konfiguration. Für einen numerischen Konfigurationsschlüssel bossHealth mit einem Kontrollwert von 500 könnten Sie eine Variante von 300 angeben. Sie können in einem Experiment bis zu zwei Varianten und eine Kontrolle haben.

   Prozentsätze bestimmen, wie Varianten innerhalb des Experimentrollouts zugewiesen werden. Betrachten Sie das folgende Beispiel:

   • Sie wählen einen Gesamtrollout von 40 %.
   • Sie geben zwei Varianten und eine 50/50-Aufteilung zwischen ihnen und der Kontrolle an.

   In diesem Beispiel sind 60 % Ihrer Benutzer vom Experiment ausgeschlossen; diese Benutzer erhalten die Kontrolle und haben keinen Einfluss auf die Ergebnisse des Experiments. Ungefähr 20 % Ihrer Benutzer erhalten die Kontrolle als Teil des Experiments. Weitere 20 % erhalten die Variante. Abhängig von Ihrer Spieleranzahl könnte diese Verteilung nicht groß genug sein, um umsetzbare Ergebnisse zu erzielen.

   Wenn Sie sich unsicher sind, empfehlen wir einfache 50/50-Experimente mit einer Variante und einer Kontrolle bei großen Rollouts. Die Experimente sind einfacher zu konfigurieren, und die Ergebnisse sind leichter zu interpretieren.

   

9. (Optional) Richten Sie das Experiment auf ein bestimmtes Publikum aus, sodass nur übereinstimmende Spieler für die Teilnahme berechtigt sind. Die Zielgruppenansprache verwendet dieselben Spielerattribute wie bedingte Konfigurationen, und Sie können vorhandene Bedingungen direkt aus Ihren Konfigurationen kopieren. Weitere Informationen finden Sie unter Experimente auf bestimmte Zielgruppen ausrichten.

   

10. Der letzte Schritt ist die Planung. Sie können Experimente sofort starten oder sie für ein späteres Datum und eine spätere Uhrzeit planen. Nachdem Sie ein Experiment geplant haben, können Sie seine Konfiguration (Dauer, Rollout-Prozentsatz, Varianten usw.) nicht mehr ändern, aber Sie können es neu planen.

Metriken

Experimente verfolgen alle folgenden Metriken über die Dauer des Experiments. Diese Metriken werden alle 24 Stunden aktualisiert, während das Experiment läuft. Während der ersten 24 Stunden Ihres Experiments werden jedoch Spielzeit, Umwandlungsrate von Zahlern und ARPU alle 5 Minuten aktualisiert, damit Sie kritische Rückschritte schnell erkennen können (frühe Schäden).

Experimentstatus

Die Experimente-Seite zeigt die folgenden Status für Experimente an.

Benutzerdefinierte Metriken

Standardmäßig verfolgen Experimente Topline-Metriken wie Spielzeit, ARPU und D1-Bindung. Diese Metriken sagen Ihnen, ob eine Änderung insgesamt Auswirkungen hatte, aber Sie möchten möglicherweise auch die Einzelheiten wissen, was sich in Ihrem Spiel geändert hat, z. B. ob Spieler eher eine Fähigkeit nutzen, einen Boss besiegen oder den Onboarding-Prozess abschließen.

Benutzerdefinierte Metriken ermöglichen es Ihnen, Ihre eigenen operativen Metriken zu einem In-Game-Experiment hinzuzufügen, die aus den benutzerdefinierten Ereignissen, Wirtschaftsereignissen und Trichterereignissen bestehen, die Sie bereits mit AnalyticsService protokollieren. Verwenden Sie sie, um:

• Ein flaches Ergebnis zu erklären. D1-Bindung ist unverändert, aber die Abschlussrate des Onboarding-Trichters ist um 8 % gesunken. Möglicherweise möchten Sie die Änderung nicht umsetzen, oder Sie möchten einen anderen Wert testen.
• Eine Umstellung dennoch zu rechtfertigen. ARPU ist flach, aber die Münzbestände der Zahler sinken schneller, was die Monetarisierung im Laufe der Zeit verbessern sollte.
• Eine Hypothese über Ihren Kernloop zu testen. Wenn Sie glauben, dass mehr Zeit, die mit dem Aufzeichnen von Videos verbracht wird, zu mehr Teilen und besserer Bindung führt, können Sie beides im selben Experiment messen.

Bevor Sie beginnen

• Protokollieren Sie zuerst Ihre Ereignisse. Sie erstellen benutzerdefinierte Metriken aus Ereignissen, die Ihr Spiel sendet, sodass Sie nur aus Ereignisnamen, Währungen und Trichtern wählen können, die bereits Daten haben. Um sie einzurichten, siehe benutzerdefinierte Ereignisse, Wirtschaftsereignisse und Trichterereignisse.
• Neue Ereignisse benötigen Zeit zur Verarbeitung. Wenn Sie gerade ein Ereignis hinzugefügt haben, kann es bis zu 24 Stunden dauern, bis es im Dashboard angezeigt wird.

Benutzerdefinierte Metriken zu einem Experiment hinzufügen

1. Gehen Sie auf die Creator Hub Experimente-Seite für Ihr Spiel, klicken Sie auf Experiment erstellen und füllen Sie den Typ und den Namen wie gewohnt aus.

2. Wählen Sie für Metrikset die Option Benutzerdefiniert.

3. Klicken Sie im Abschnitt Benutzerdefinierte Metriken auf Hinzufügen. Um eine Metrik, die Sie für ein vorheriges Experiment erstellt haben, wiederzuverwenden, klicken Sie stattdessen auf Aus früherem Experiment hinzufügen.

   

4. Wählen Sie eine Quelle: Benutzerdefiniert, Wirtschaft oder Trichter.

5. Wählen Sie aus, was die Metrik misst: den benutzerdefinierten Ereignistyp, die Währung oder den Trichter und seinen Abschluss-Schritt.

6. Wählen Sie eine Berechnung. Weitere Informationen finden Sie unter Wählen Sie eine Berechnung.

7. (Optional) Fügen Sie Filter hinzu, um einzugrenzen, welche Ereignisse zur Metrik zählen.

8. Überprüfen Sie den Metriknamen. Roblox generiert einen Namen aus Ihren Auswahlmöglichkeiten, aber Sie können ihn in etwas umbenennen, das Ihr Team erkennt, oder ihn jederzeit zurücksetzen.

   

9. Klicken Sie auf Speichern. Sie können bis zu drei benutzerdefinierte Metriken hinzufügen.

10. Wählen Sie für Zielmetrik die Metrik aus, die das Experiment entscheidet. Ihre benutzerdefinierten Metriken erscheinen in dieser Liste neben Spielzeit und durchschnittlichem Umsatz pro Benutzer. Das Experiment verfolgt weiterhin jede benutzerdefinierte Metrik, die Sie nicht als Zielmetrik festlegen, als Lernmetrik.

11. Beenden Sie die Einrichtung des Experiments wie gewohnt: Dauer, Rollout-Prozentsatz, Varianten, Zielgruppenansprache und Planung.

Wählen Sie eine Berechnung

Jede Berechnung zählt nur Spieler, die im Experiment eingeschrieben sind, und nur Ereignisse, die während des Experiments protokolliert wurden. Die meisten Berechnungen verwenden einen von zwei spielerbasierten Nennern:

• Pro alle Benutzer teilt durch alle, die in der Experimentgruppe eingeschrieben sind, einschließlich Spieler, die das Ereignis nie ausgelöst haben. Verwenden Sie diesen Nenner, wenn Sie möchten, dass die Metrik sowohl widerspiegelt, wie oft das Verhalten auftritt, als auch wie viele Spieler es überhaupt tun.
• Pro Teilnehmer teilt nur durch eingeschriebene Spieler, die das Ereignis mindestens einmal protokolliert haben. Verwenden Sie diesen Nenner, wenn Sie die Intensität unter den Spielern messen möchten, die sich engagieren, unabhängig davon, wie viele Spieler sich engagieren.

Die Ausnahme ist die Pro-Instanz-Trichterumwandlung, die durch Trichterinstanzen anstelle von Spielern teilt.

Benutzerdefinierte Ereignismetriken

Wählen Sie einen benutzerdefinierten Ereignistyp aus und dann eine der folgenden Berechnungen:

Zum Beispiel, nehmen wir an, Sie testen einen neuen Kräutersammelprozess. Fügen Sie Durchschnittlicher benutzerdefinierter Wert über alle Benutzer zu einem HerbsGathered-Ereignis hinzu, um zu sehen, ob die Variante das Sammeln in der gesamten Gruppe erhöht, und Teilnahme % zu demselben Ereignis, um zu sehen, ob es Spieler anzieht, die es sonst ignoriert hätten.

Wirtschaftsmetriken

Wählen Sie eine Währung aus und dann eine der folgenden Berechnungen:

Um Ausgaben für bestimmte Teile Ihrer Wirtschaft zu messen, filtern Sie nach bestimmten Transaktionstypen oder Artikel-SKUs.

Zum Beispiel, nehmen wir an, Sie testen einen neuen Saisonpass, der Münzen als Fortschrittsbelohnungen gibt. Sie haben es so eingestellt, dass das Erreichen des letzten exklusiven Preises rechtzeitig erfordert, dass Spieler Münzen für Gameplay-Boosts ausgeben. Bei Ihrer Münzwährung:

• Durchschnittlicher Währungsenssenkdelt sagt Ihnen, ob Spieler mehr ausgeben.
• Durchschnittlicher Währungsquellendelta sagt Ihnen, ob Spieler mehr verdienen.
• Durchschnittlicher Nettowährungsdelta sagt Ihnen, ob die zusätzlichen Ausgaben ausreichen, um zu verhindern, dass die Bestände inflationsbedingt steigen.

Trichtermetriken

Wählen Sie einen Trichter, dann einen Abschluss-Schritt und dann eine der folgenden Berechnungen:

Beachten Sie Folgendes bei Trichtermetriken:

• Sie müssen einen Abschluss-Schritt wählen. Sie können diesen Schritt nicht ändern, nachdem das Experiment gestartet wurde, also wählen Sie einen Schritt, der für Ihre Metrik entscheidend ist.
• Einmalige Trichter geben für beide Berechnungen dasselbe Ergebnis zurück. Für einmalige Trichter, einschließlich des Onboarding-Trichters, sind die Umwandlungen pro Benutzer und pro Instanz gleich, da jeder Spieler nur eine Instanz hat. Die Berechnungen unterscheiden sich nur für wiederkehrende Trichter, die funnelSessionId verwenden.
• Wiederkehrende Trichter beantworten unterschiedliche Fragen. Die Umwandlung pro Benutzer beantwortet die Frage "Wie viele Spieler schließen dies mindestens einmal ab?", während die Umwandlung pro Instanz die Frage beantwortet "Wie oft gelingt ein Versuch?". Diese Metriken können sich in entgegengesetzte Richtungen bewegen.
• Übersprungene Schritte zählen als abgeschlossen. Wenn ein Spieler Schritt 3 protokolliert, ohne die Schritte 1 und 2 zu protokollieren, behandelt der Trichter die Schritte 1 und 2 als abgeschlossen. Wiederholte Schritte zählen nur einmal. Weitere Informationen finden Sie unter Übersprungene Schritte und Wiederholte Schritte.

Zum Beispiel, nehmen wir an, Sie haben Ihr Tutorial überarbeitet. Fügen Sie Pro-Benutzer-Trichterumwandlung % zum Onboarding-Trichter hinzu, wobei der letzte Schritt als Abschluss-Schritt dient, und machen Sie ihn zu Ihrer Zielmetrik. Überprüfen Sie dann die D1-Bindung, um zu sehen, ob eine bessere Abschlussrate tatsächlich dazu führt, dass Spieler zurückkehren.

Beispiele für benutzerdefinierte Metriken

Ergebnisse benutzerdefinierter Metriken lesen

Experimentmetriken sind kumulativ, aber Analytik Dashboards sind täglich. Eine Experimentmetrik summiert das gesamte Experimentfenster und zählt, wo der Nenner Spieler ist, jeden Spieler einmal. Analytikseiten haben standardmäßig eine tägliche Ansicht, sodass dasselbe zugrunde liegende Ereignis in den beiden Bereichen unterschiedliche Zahlen erzeugt. Verwenden Sie Analytik, um Ihre Ereignisse zu erkunden und zu validieren, dass sie korrekt ausgelöst werden, und verwenden Sie die Experimentergebnisse, um Varianten mit der Kontrolle zu vergleichen.

Wenn Sie benutzerdefinierte Metriken interpretieren, beachten Sie Folgendes:

• Eine benutzerdefinierte Metrik, die sich ohne eine Topline-Metrik bewegt, ist Information, nicht Rauschen. Es bedeutet normalerweise, dass die Änderung mechanisch funktioniert hat, aber noch keinen statistisch signifikanten Einfluss auf die Bindung oder den Umsatz hatte oder dies nie tun wird.
• Richtung ist nicht immer eine gute Nachricht. Ein Rückgang der Gewinnraten könnte genau das sein, was Sie wollten, wenn Sie mehr Herausforderungen für etablierte Spieler hinzugefügt haben. Entscheiden Sie vor Beginn des Experiments, welche Richtung als Gewinn zählt.
• Statistische Signifikanz gilt weiterhin. Benutzerdefinierte Metriken unterliegen denselben Stichprobengrößenbeschränkungen wie jede andere Metrik. Wenn eine Änderung nicht statistisch signifikant ist, handeln Sie nicht danach.
• Überbetonen Sie nicht eine Metrik. Wenn Ihre Zielmetrik steigt, aber eine Lernmetrik signifikant sinkt, haben Sie einen Kompromiss abzuwägen, nicht einen klaren Gewinn.

Metriken für belohnte Videos

Belohnte Videoanzeigen können Ihnen helfen, mehr aus Ihrem Spiel zu verdienen, auch von Spielern, die keine Robux ausgeben. Sie müssen jedoch die Platzierung der belohnten Videoanzeigen an Ihr Spiel und seine Wirtschaft anpassen. Wo Sie die Anzeige platzieren und welche Artikel Sie den Spielern als Belohnung anbieten, beeinflusst sowohl die Einnahmen aus Anzeigen als auch das Engagement.

Das Metrikset Einnahmen durch belohnte Videos verfolgt die Anzeigenleistung zusammen mit einer Auswahl an Standard-Engagement-, Bindungs- und Monetarisierungsmetriken, sodass Sie sicherstellen können, dass das Schalten von Anzeigen den Rest Ihres Spiels nicht schädigt. Verwenden Sie es, um:

• Eine belohnte Anzeige zu optimieren. Testen Sie eine größere Belohnung oder eine andere Platzierung und überprüfen Sie, ob die Opt-in-Rate und die Häufigkeit steigen.
• Den Kompromiss zu überprüfen. Wenn die Einnahmen aus Anzeigen steigen, überprüfen Sie, ob die Spielzeit, die Bindung oder die Umwandlungsrate von Zahlern gesunken sind. Gesamteinnahmen pro Benutzer zeigen die kombinierte Wirkung von Anzeigen und Mikrotransaktionen.
• Spieler zu erreichen, die nicht zahlen. Testen Sie, ob eine Anzeigenoption Einnahmen von Spielern bringt, die keinen Kauf getätigt haben, ohne die Ausgaben Ihrer Zahler zu senken.

Ein Experiment zu Einnahmen durch belohnte Videos einrichten

Experimente zu belohnten Videos sind In-Game-Experimente, sodass sie wie jedes andere In-Game-Experiment funktionieren. Sie steuern die Anzeigenfunktion, wie z. B. die Belohnungsgröße oder die Anzeigenfrequenz, mit einer Konfiguration. Jede Variante hat einen anderen Konfigurationswert, und Ihr Code liest den Wert mit ConfigService:GetConfigForPlayerAsync(). Weitere Informationen finden Sie unter Experimente zu Ihrem Code hinzufügen.

1. Wenn Sie noch keine Konfiguration für die belohnte Videoanzeige haben, die Sie testen möchten, erstellen Sie eine. Erstellen Sie beispielsweise einen numerischen Konfigurationsschlüssel adCooldownSeconds mit Ihrer aktuellen Abkühlzeit als Kontrollwert.

2. Gehen Sie auf die Creator Hub Experimente-Seite für Ihr Spiel und klicken Sie auf Experiment erstellen.

3. Wählen Sie für Typ die Option In-Erlebnis.

4. Wählen Sie für Metrikset die Option Einnahmen durch belohnte Videos. Roblox legt Impressionen pro Benutzer und Gesamteinnahmen pro Benutzer als Zielmetriken fest, sodass Sie keine auswählen müssen.

   

5. Beenden Sie die Einrichtung des Experiments wie gewohnt: Dauer, Rollout-Prozentsatz, Varianten, Zielgruppenansprache und Planung.

Metriken für Einnahmen durch belohnte Videos

Das Metrikset Einnahmen durch belohnte Videos verfolgt die folgenden Anzeigenmetriken sowie eine Auswahl der Standard-Metriken, damit Sie überprüfen können, dass Anzeigen das Engagement, die Bindung oder die Monetarisierung nicht schädigen.

Experimente auf bestimmte Zielgruppen ausrichten

Standardmäßig kann ein In-Game-Experiment jeden Spieler in Ihrem Rollout-Prozentsatz einschreiben. Zielgruppenansprache ermöglicht es Ihnen, das Experiment stattdessen auf ein bestimmtes Publikum auszurichten, z. B. Spieler in bestimmten Ländern, spezifischen Zeitfenstern oder aktiven Ausgabestufen. Die Zielgruppenansprache verwendet dieselben Attribute wie Konfigurationszielgruppen.

Zielgerichtete Experimente einrichten

Sie konfigurieren die Zielkriterien, wenn Sie das Experiment erstellen. Nachdem das Experiment gestartet wurde, können Sie die Zielregeln, den Kontrollwert, die Varianten oder irgendwelche bedingten Regeln, die der Konfigurationsschlüssel verwendet, nicht mehr ändern.

Sie können vorhandene bedingte Regeln aus Ihren Konfigurationen wiederverwenden, um Ihre Zielgruppenansprache zu definieren, aber das Experiment speichert eine unabhängige Kopie jeder Regel. Das Bearbeiten oder Löschen der ursprünglichen Konfigurationsbedingung hat später keine Auswirkungen auf die Zielgruppenansprache des Experiments.

Da die Eingrenzung Ihres Publikums die Stichprobengröße verringert, aktualisiert Roblox den minimalen nachweisbaren Effekt (MDE) mithilfe einer Schätzung des Publikums, das Ihren Zielkriterien entspricht. Stellen Sie sicher, dass Ihr Zielpublikum groß genug ist, um statistisch bedeutungsvolle Ergebnisse zu erzielen.

So löst Roblox gezielte Werte auf

Roblox bewertet Experimente zuerst, bevor irgendwelche Regeln aus Standardbedingungen angewendet werden. Wenn ein Konfigurationsschlüssel ein aktives Experiment hat, löst Roblox den Wert in dieser Reihenfolge auf:

1. Der aktive Experimentwert, wenn der Spieler gezielt und eingeschrieben ist.
2. Die erste übereinstimmende Konfigurationsbedingung.
3. Alle nachfolgenden übereinstimmenden Konfigurationsbedingungen.
4. Der Standardwert.

Spieler in der Kontrollgruppe erhalten den Wert, den Ihre vorhandenen Konfigurationsregeln erzeugen. Sie können nicht mehr als ein aktives Experiment auf demselben Konfigurationsschlüssel gleichzeitig durchführen.

Bewertung pro Sitzung

Roblox bewertet Zielattribute pro Sitzung, sodass die Berechtigung eines einzelnen Spielers im Laufe der Zeit variieren kann:

• Wenn ein Spieler während einer Sitzung Ihren Zielkriterien entspricht, kann er eingeschrieben werden und erhält eine Experimentvariante.
• Wenn er in einer späteren Sitzung nicht mehr übereinstimmt, hört er auf, den Experimentwert zu erhalten und fällt sofort auf Ihre Standardkonfigurationsregeln zurück. Wenn Ihr Experiment Kontinuität über die Berechtigung hinaus benötigt - z. B. einen mehrstufigen Onboarding-Prozess, der auf neue Spieler abzielt - speichern Sie den Wert selbst, z. B. in einem Datenstore.

Die Daten eines Spielers bleiben der Variante (oder Kontrolle) zugeordnet, in der er eingeschrieben war, auch wenn er später nicht mehr den Kriterien entspricht. Zum Beispiel zählt die D7-Bindung weiterhin einen Spieler, der am Tag 0 eingeschrieben war und ob er am Tag 7 zurückgekehrt ist, auch wenn er am Tag 4 nicht mehr qualifiziert ist.

Konfigurationsänderungen während eines Experiments

Um Konfigurationsabweichungen und beschädigte Experimentdaten zu vermeiden, sperrt Roblox den Konfigurationsschlüssel, sobald ein Experiment zu laufen beginnt:

• Sie können den laufenden Konfigurationsschlüssel nicht bearbeiten oder löschen, noch können Sie seine Standardbedingungen ändern.
• Alle globalen Bedingungen, auf die die aktive Konfiguration verweist, sind ebenfalls gesperrt. Sie können diese nicht bearbeiten, löschen oder in Bezug aufeinander umsortieren.

Die Sperre wird freigegeben, wenn das Experiment abgeschlossen ist.

Experimente zu Ihrem Code hinzufügen

Die Anwendung von In-Game-Experimenten ähnelt der Anwendung von Konfigurationen. Der Hauptunterschied besteht darin, dass ConfigService:GetConfigForPlayerAsync() anstelle von ConfigService:GetConfigAsync() verwendet wird.

GetConfigForPlayerAsync() ruft einen spielerspezifischen Snapshot ab. Wenn Sie GetValue() aufrufen, überprüft der Snapshot, ob ein aktives Experiment vorliegt, und meldet (oder meldet nicht) den Benutzer basierend auf dem Rollout-Prozentsatz an.

local ConfigService = game:GetService("ConfigService")
local Players = game:GetService("Players")

local function onPlayerAdded(player)
    local playerConfig = ConfigService:GetConfigForPlayerAsync(player)
    local leaderboardColor = playerConfig:GetValue("leaderboardColor")
end

Players.PlayerAdded:Connect(onPlayerAdded)

• Sie müssen GetConfigForPlayerAsync() separat für jeden Spieler aufrufen; GetConfigAsync() gilt nicht für Experimente.

• Nachdem Sie GetValue() auf einem spielerspezifischen Snapshot aufgerufen haben, ist der Spieler, der mit dem Snapshot verbunden ist, für dieses Experiment für diesen Schlüssel und nur für diesen Schlüssel eingeschrieben. Alle nachfolgenden Aufrufe der Methode geben für die Dauer des Experiments denselben Kontroll- oder Variantenwert zurück. Nur der erste Aufruf ist zufällig.

  Warten Sie, bis Sie GetValue() aufrufen, bis Sie es benötigen. Ein zu frühes Aufrufen von GetValue() kann dazu führen, dass Sie Spieler einschreiben, die nie mit dem Teil des Spiels interagieren, an dem Sie experimentieren.

• Die Einschreibung in Experimente ist nicht auf neue Benutzer beschränkt. Selbst wenn ein Benutzer zuvor einen Wert von GetConfigAsync() erhalten hat, können Sie ihn weiterhin in ein Experiment einschreiben, indem Sie einen spielerspezifischen Snapshot von GetConfigForPlayerAsync() verwenden.

• Wenn ein Schlüssel in einem spielerspezifischen Snapshot kein aktives Experiment hat, gibt GetValue() den Standardkonfigurationswert zurück (oder nil, wenn er keinen Wert hat).

Benutzerdefinierte Einschreibung

Wenn Sie nur Spieler einschreiben möchten, die Kriterien basierend auf dem In-Game-Zustand erfüllen, müssen Sie zusätzlichen Code schreiben, um diese Kriterien zu überprüfen und erst dann GetValue() aufzurufen, um sie im Experiment einzuschreiben. Betrachten Sie das folgende Beispiel:

• Sie möchten ein neues Steuerungsschema in Ihrem Rennspiel testen.
• Das Schema ist für fortgeschrittene Spieler, daher möchten Sie Spieler anvisieren, die eine große Anzahl von Rennen gewonnen haben.

Ihr Code könnte so aussehen:

local function getControlScheme(player, racesWon)
    if racesWon < 20 then
        return "standardScheme"
    else
        -- Spieler hat viele Gewinne, im Experiment einschreiben
        local playerConfigSnapshot = ConfigService:GetConfigForPlayerAsync(player)
        if playerConfigSnapshot:GetValue("useNewControlScheme") then
            return "newScheme"
        else
            return "standardScheme"
        end
    end
end

Wenn Sie möchten, dass das Steuerungsschema in nachfolgenden Sitzungen bestehen bleibt, müssen Sie wahrscheinlich einen Wert im Datenspeicher des Spielers hinzufügen.

Ergebnisse anzeigen und interpretieren

Klicken Sie auf Anzeigen, um Details und Ergebnisse zu sehen. Im Tab Details und Fortschritt können Sie die Gesamtzahl der eingeschriebenen Spieler sowie die Anzahl der Spieler sehen, die den Kontrollwert und jede Variante erhalten haben. Diese Seite früh im Experiment zu betrachten, ist nützlich, um sicherzustellen, dass das Experiment ordnungsgemäß läuft, nicht um Maßnahmen zu ergreifen. Bevor Sie Maßnahmen ergreifen, siehe Best Practices.

Frühe Schadensmetriken

In den ersten 24 Stunden oder bis die ersten täglichen Ergebnisse eintreffen, aktualisieren sich die frühen Schadens-Metriken alle 5 Minuten, damit Sie unbeabsichtigte kritische Schäden frühzeitig erkennen können. Klicken Sie auf Metriken, um diese Ergebnisse zu sehen. Achten Sie auf kritisch schädliche Metriken, die rot hervorgehoben sind.

Fahren Sie mit der Maus über eine Metrik und klicken Sie auf Vertrauen anzeigen, um das Vertrauensintervall zu sehen.

Während dieses Zeitraums testen die Ergebnisse nur auf Schäden, sodass das Vertrauensintervall keine untere Grenze hat, sondern nur eine obere Grenze. Eine Metrik wird nur dann als kritisch schädlich eingestuft, wenn das gesamte Vertrauensintervall unter dem kritischen Schadensschwellenwert liegt. Im folgenden Beispiel liegt die Spielzeit bei -12,67 % mit einer oberen Grenze von -2,73 %. Auch wenn die Schätzung unter dem kritischen Schadensschwellenwert von -10 % liegt und das gesamte Vertrauensintervall unter 0 % liegt, wird die Metrik nicht als kritisch schädlich eingestuft, da das Intervall nicht vollständig unter dem Schadensschwellenwert liegt.

Verwenden Sie diese Ergebnisse nur, um frühe Stop-Entscheidungen in den ersten 24 Stunden zu leiten. Verwenden Sie sie nicht für Startentscheidungen, verlassen Sie sich stattdessen auf tägliche Ergebnisse.

Frühe Schadensschwellenwerte

Jede Metrik hat ihren eigenen frühen Schadensschwellenwert. Wenn der Anstieg einer Variante unter diesen Schwellenwert fällt, wird sie als kritisch schädlich für diese Metrik eingestuft. Für Metrikvariantvergleiche mit weniger als 10.000 eingeschriebenen Spielern über die Variante und die Kontrolle werden die Anstiege der Varianten angezeigt, aber Entscheidungen über Schäden werden erst getroffen, wenn die Stichprobengröße genügend Daten liefert, um Schäden zuverlässig zu erkennen.

Benachrichtigungen über frühe Schäden

Wenn kritische Schäden in Ihrem Experiment während der frühen Schadensanalyseperiode festgestellt werden, wird eine Benachrichtigung an den Spieleigentümer und den Experimentbesitzer zur frühen Handlung gesendet. Benachrichtigungen werden per E-Mail, im Benachrichtigungsbereich des Creator Hub und über einen optionalen Webhook gesendet. Nach Erhalt einer Benachrichtigung über frühe Schäden sollten Sie die Experimentmetriken überprüfen und entscheiden, ob das Experiment vorzeitig gestoppt werden sollte.

Tägliche Ergebnisse

Nachdem ein Experiment mindestens 24 Stunden lang durchgeführt wurde, klicken Sie auf Ergebnisse, um die neuesten Ergebnisse zu sehen, die sich alle 24 Stunden aktualisieren. Achten Sie auf statistisch signifikante Änderungen in den Zielmetriken, die im Dashboard grün oder rot hervorgehoben werden. Diese Änderungen zeigen eher die Auswirkungen Ihrer Variante und sind weniger wahrscheinlich falsch positiv oder negativ.

Eine Metrik ist statistisch signifikant, wenn das Vertrauensintervall für ihre prozentuale Änderung nicht mit 0 % überlappt. Im folgenden Beispiel liegt ARPU bei 2,37 % mit unteren und oberen Grenzen von 0,55 % und 4,19 %, was die Änderung statistisch signifikant macht.

Zur Vereinfachung ermöglicht die Ergebnisseite, den Standardkonfigurationswert durch einen der Varianten aus dem Experiment zu ersetzen.

Stichprobenverhältnis-Mismatch

Wenn Ihr Experiment nicht in der erwarteten Verteilung Benutzer in die Varianten einschreibt, wird ein Warnbanner für Stichprobenverhältnis-Mismatch (SRM) im Tab der Experimentergebnisse angezeigt. Wenn SRM festgestellt wird, wird empfohlen, Ihr Experiment zu stoppen und neu zu starten.

SRM wird in den ersten 24 Stunden Ihres Experiments alle 5 Minuten überprüft und danach täglich. SRM kann die Ergebnisse des Experiments ungültig machen; treffen Sie keine Startentscheidungen basierend auf kompromittierten und unzuverlässigen Ergebnissen.

Eine Entscheidung treffen

Wenn Ihr Experiment abgeschlossen ist, klicken Sie auf Entscheidung treffen, um einen geführten Rollout zu starten. Roblox zeigt alle Warnungen zur statistischen Signifikanz und zur Experimentdauer an und fordert Sie dann auf, eine gewinnende Variante auszuwählen oder die Kontrolle beizubehalten. Basierend auf Ihrer Wahl rollt Roblox die entsprechende Änderung in Ihre permanenten Konfigurationen aus; die Rückkehr zur Seite Konfigurationen zeigt den neuen Wert. Klicken Sie auf Gewinner ändern, wenn Sie Ihre Meinung ändern.

Wenn Sie bei Abschluss des Experiments noch ungelöste gestaffelte Änderungen an der Konfiguration haben, speichert Roblox diese vorübergehend und stellt sie nach dem Rollout nach bestem Ermessen wieder her.

Ihre Entscheidung bestimmt die Konfigurationsänderungen, die Roblox vorschlägt:

• Kontrolle: Roblox nimmt keine Änderungen an Ihren vorhandenen Konfigurationen vor.
• Untargetierte Variante: Der Variantenwert wird zum neuen Standardwert der Konfiguration. Roblox entfernt alle anderen Bedingungen zu diesem Konfigurationsschlüssel, obwohl sie in Ihrer Liste globaler Bedingungen verbleiben.
• Targeted-Variante: Roblox integriert die gewinnende Regel wieder in Ihre permanente Konfiguration, indem es die erste anwendbare Option in dieser Prioritätsreihenfolge verwendet:

  1. Überschreiben: Wenn eine identische Bedingung bereits an oberster Stelle der Konfiguration steht, überschreibt Roblox ihren Wert mit dem Wert der gewinnenden Variante.
  2. Vorhandenes hinzufügen: Wenn eine übereinstimmende globale Bedingung existiert und natürlich an oberster Stelle stehen würde, fügt Roblox sie der Konfiguration mit dem Wert der Variante hinzu.
  3. Hochstufen: Wenn eine übereinstimmende globale Bedingung sicher auf den niedrigsten Rang hochgestuft werden kann, der erforderlich ist, um sie zur obersten Regel in dieser Konfiguration zu machen (ohne andere Konfigurationen zu ändern), fügt Roblox sie der Konfiguration hinzu und sortiert sie global um.
  4. Neu erstellen: Andernfalls erstellt Roblox eine neue globale Bedingung, die einen Rang über der höchsten Bedingung liegt, die derzeit in der Konfiguration verwendet wird. Wenn dies eine doppelte Regel innerhalb der Konfiguration erzeugt, entfernt Roblox den redundanten bedingten Wert, während die globale Regel erhalten bleibt.

Best Practices für Experimente

• Verwenden Sie den minimalen nachweisbaren Effekt (MDE), um zu entscheiden, ob Ihr Experiment es wert ist, durchgeführt zu werden.

  Roblox berechnet den MDE anhand Ihrer Zielmetrik und der Anzahl der Spieler pro Variante, die auf täglichen aktiven Benutzern, Rollout-Prozentsatz, Experimentdauer und Variantenaufteilungen basieren. Wenn der MDE für Ihre Zielmetrik zu hoch ist (zum Beispiel mehr als 100 %), ist es unwahrscheinlich, dass Sie statistische Signifikanz erreichen können. Spiele mit weniger als 1.000 täglichen aktiven Benutzern könnten Schwierigkeiten haben, nützliche Daten aus Experimenten zu erhalten.

  

• Beginnen Sie mit einer Hypothese. Anstatt einfach eine Variable zu ändern und die Ergebnisse zu überprüfen, schreiben Sie eine Ursache-Wirkung-Aussage darüber, was Sie geändert haben, was Sie erwarten, dass passiert, und warum. Wenn Sie immer mehr experimentieren, kann es hilfreich sein, eine Reihe schriftlicher Hypothesen zu haben, die Ihre Ergebnisse begleiten, um Ihr Denken zu klären und neue Ideen für Experimente zu inspirieren.

• Lassen Sie Experimente ihre volle Dauer laufen. Der Neuheitseffekt (vorübergehendes Interesse an einer Änderung, nicht weil sie besser ist, sondern weil sie neu ist) kann frühe Ergebnisse stark verzerren und manchmal dazu führen, dass sie in und aus der statistischen Signifikanz schwanken. Experimente vorzeitig zu beenden erhöht die Wahrscheinlichkeit, dass Sie vorzeitige Maßnahmen auf der Grundlage anomaler Spitzen ergreifen, die mehr Daten geglättet oder sogar widerlegt hätten.

  • Die Ausnahme sind frühe Schäden in den ersten 24 Stunden: Wenn Metriken als kritisch schädlich eingestuft werden oder Sie Stichprobenverhältnis-Mismatch sehen, überprüfen Sie und ziehen Sie in Betracht, zu stoppen. Verwenden Sie keine frühen Schadensresultate für Startentscheidungen.

• Handeln Sie nicht ohne statistische Signifikanz. Selbst scheinbar große Änderungen im Spieler Verhalten sind möglicherweise nicht statistisch signifikant, in der Regel aufgrund einer kleinen Stichprobengröße. Wenn eine Änderung nicht statistisch signifikant ist, ignorieren Sie sie.

• Vermeiden Sie Änderungen während Experimente. Große Fehler müssen natürlich behoben werden, aber Änderungen am Spielinhalt können das Spieler Verhalten beeinflussen und Ihre Ergebnisse ungültig machen, selbst wenn die Änderungen scheinbar nichts mit Ihrem Experiment zu tun haben. Ebenso sollten Sie Experimente nur gleichzeitig durchführen, wenn Sie sicher sind, dass sie sich nicht gegenseitig beeinflussen.

• Verwenden Sie Vertrauensintervalle für tiefere Einblicke in Metriken und um nach Grenzfällen statistischer Signifikanz zu suchen. Wenn das Vertrauensintervall zu weit ist, könnte die Metrik niemals statistische Signifikanz erreichen.

• Wenn eine Metrik signifikant steigt und eine andere signifikant sinkt, müssen Sie entscheiden, ob der Kompromiss es wert ist, möglicherweise in Verbindung mit anderen statistisch signifikanten Bewegungen.

• Experimente liefern starke Signale, aber statistische Signifikanz handelt von Wahrscheinlichkeiten, nicht von Gewissheiten - daher das Vertrauensintervall. Datenvariabilität, Stichprobengröße und Ausmaß der Änderung beeinflussen alle die Wahrscheinlichkeit, dass eine Variante das Spieler Verhalten beeinflusst hat. Jede Maßnahme, die Sie auf der Grundlage der Ergebnisse eines Experiments ergreifen, sollte gegen qualitative Daten wie Spielerfeedback und Ihre Gesamtvision für das Spiel abgewogen werden.

• Dokumentieren Sie Ihre Erkenntnisse und Entscheidungen. Selbst wenn Sie sie nicht verwenden, um zusätzliche Experimente durchzuführen, kann ein Wissens- und Beweisbestand darüber informieren, wie Sie Ihre Spiele gestalten.