実験

実験を使用すると、ゲーム内およびマッチメイキングのA/Bテストを実行して、ゲームの変更がもたらす因果的影響を測定できます。たとえば、異なるプレイヤーに異なるオンボーディング体験を示し、プレイ時間、リテンション、その他の主要なパフォーマンス指標の違いを測定できます。

実験は、以下の測定に優れています：

• エンゲージメント - オンボーディングフロー、進行システム、コントロールスキーム、カスタムマッチメイキング
• マネタイズ - ショップの可視性とユーザー体験、スターターパックの種類、価格設定

実験の作成

実験には2つのタイプがあります：

• ゲーム内の実験は、異なる設定値の影響を測定できます。
• マッチメイキング実験は、異なるカスタムマッチメイキング設定の影響を測定できます。ゲーム内実験とは異なり、同時に1つのマッチメイキング実験しか実行できません。

1. まだ設定を持っていない場合は、ゲーム用に作成します。

2. Creator Hubの実験ページで、実験を作成をクリックします。

3. タイプとして体験内を選択します。

4. 実験の名前を指定します。

5. メトリックセットとして、実験が追跡するメトリックのセットを選択します：

   メトリックセット	追跡する内容
   デフォルト	ARPU、セッション時間、新規ユーザーリテンションなどの標準的なパフォーマンスおよびエンゲージメントメトリック。
   報酬付きビデオ収益	報酬付きビデオ広告のメトリック：オプトイン率、頻度、インプレッション、広告収益、ユーザーあたりの総収益、さらにデフォルトのエンゲージメント、リテンション、マネタイズメトリック。
   カスタム	デフォルトのメトリックに加えて、カスタム、経済、およびfunnelイベントから定義した最大3つのカスタムメトリック。

   

6. 実験の目標メトリックと計画された期間を指定します。実験は14日から60日間実行されます。

   目標メトリックとして何を選んでも、実験はメトリックセット内のすべてのメトリックを追跡します。報酬付きビデオ収益メトリックセットを選択した場合、Robloxが目標メトリックを設定するため、期間を指定するだけで済みます。

7. パーセントロールアウトを選択します。この数値は、実験に含めたいプレイヤーの割合です。

   一般的に、実験に含める人数が多いほどデータが良くなりますが、ゲームにとって最適なものを判断してください。

   最小検出効果に注意してください。これは、実験が信頼性を持って検出できる選択したメトリックの最小の変化です。

8. バリアントとパーセンテージを指定します。

   バリアントは、設定の代替値です。コントロール値が500の数値設定キーbossHealthの場合、300のバリアントを指定することができます。実験には最大2つのバリアントと1つのコントロールを持つことができます。

   パーセンテージは、実験のロールアウト内でバリアントを割り当てる方法を決定します。次の例を考えてみてください：

   • 全体のロールアウトを40%に選択します。
   • 2つのバリアントとコントロールの間で50/50の分割を指定します。

   この例では、60%のユーザーが実験から除外されます。これらのユーザーはコントロールを受け取り、実験結果に影響を与えません。約20%のユーザーが実験の一部としてコントロールを受け取ります。別の20%がバリアントを受け取ります。プレイヤー数によっては、この分布が実行可能な結果を得るには不十分な場合があります。

   疑問がある場合は、大規模なロールアウトで1つのバリアントと1つのコントロールのシンプルな50/50実験をお勧めします。実験の設定が簡単で、結果の解釈も容易です。

   

9. (オプション) 実験を特定のオーディエンスにターゲット設定し、条件に合致するプレイヤーのみが登録できるようにします。ターゲティングは、条件付き設定と同じプレイヤー属性を使用し、既存の条件を設定から直接コピーできます。詳細については、特定のオーディエンスに実験をターゲット設定するを参照してください。

   

10. 最後のステップはスケジューリングです。実験をすぐに開始するか、後の日付と時間にスケジュールできます。実験をスケジュールした後は、その設定（期間、ロールアウトパーセンテージ、バリアントなど）を変更できませんが、再スケジュールは可能です。

メトリック

実験は、実験期間中に以下のすべてのメトリックを追跡します。これらのメトリックは、実験が実行されている間、24時間ごとに更新されます。ただし、実験の最初の24時間の間は、プレイ時間、支払い者転換率、ARPUも5分ごとに更新され、重要なリグレッション（早期の害）を迅速にキャッチできます。

実験のステータス

実験ページは、実験の以下のステータスを表示します。

カスタムメトリック

デフォルトでは、実験はプレイ時間、ARPU、D1リテンションなどのトップラインメトリックを追跡します。これらのメトリックは、変更が全体的な影響を持ったかどうかを示しますが、プレイヤーが能力を使用する可能性やボスを倒す可能性、オンボーディングフローを完了する可能性など、ゲーム内で何が変わったのかの具体的な詳細を知りたい場合もあります。

カスタムメトリックを使用すると、ゲーム内実験に独自の運用メトリックを追加できます。これは、すでにAnalyticsServiceでログを取っているカスタムイベント、経済イベント、およびfunnelイベントから構築されます。これらを使用して：

• フラットな結果を説明する。 D1リテンションは変わらないが、オンボーディングファunnelの完了率が8%低下した。変更を展開したくないかもしれませんし、別の値をテストしたいかもしれません。
• それでも展開を正当化する。 ARPUはフラットだが、支払い者のコイン残高が早く減少しており、これは時間の経過とともにマネタイズを改善するはずです。
• コアループに関する仮説をテストする。 より多くの時間をかけてビデオを録画することで、より多くの共有とより良いリテンションにつながると信じている場合、両方を同じ実験で測定できます。

開始前に

• 最初にイベントをログに記録します。 カスタムメトリックは、ゲームが送信するイベントから構築されるため、データがすでにあるイベント名、通貨、ファunnelからのみ選択できます。設定するには、カスタムイベント、経済イベント、およびファunnelイベントを参照してください。
• 新しいイベントは処理に時間がかかります。 イベントを追加したばかりの場合、ダッシュボードに表示されるまで最大24時間かかることがあります。

実験にカスタムメトリックを追加する

1. Creator Hubの実験ページで、実験を作成をクリックし、通常通りタイプと名前を入力します。

2. メトリックセットとしてカスタムを選択します。

3. カスタムメトリックセクションで、追加をクリックします。以前の実験で作成したメトリックを再利用するには、代わりに過去の実験から追加をクリックします。

   

4. ソースを選択します：カスタム、経済、またはファunnel。

5. メトリックが測定する内容を選択します：カスタムイベントタイプ、通貨、またはファunnelとその完了ステップ。

6. 計算を選択します。詳細については、計算の選択を参照してください。

7. (オプション) メトリックにカウントされるイベントを絞り込むためにフィルターを追加します。

8. メトリック名を確認します。Robloxは選択に基づいて名前を生成しますが、チームが認識できるように編集することができます。また、いつでもリセットできます。

   

9. 保存をクリックします。最大3つのカスタムメトリックを追加できます。

10. 目標メトリックとして、実験を決定するメトリックを選択します。カスタムメトリックは、プレイ時間やユーザーあたりの平均収益とともにこのリストに表示されます。目標メトリックとして設定しないカスタムメトリックは、学習メトリックとして追跡されます。

11. 実験の設定を通常通り完了します：期間、ロールアウトパーセンテージ、バリアント、ターゲティング、スケジューリング。

計算の選択

すべての計算は、実験に登録されたプレイヤーのみをカウントし、実験中にログされたイベントのみをカウントします。ほとんどの計算は、次の2つのプレイヤーベースの分母のいずれかを使用します：

• すべてのユーザーあたりは、イベントをトリガーしなかったプレイヤーを含む、実験グループに登録されたすべてのプレイヤーで割ります。この分母を使用すると、メトリックが行動がどれだけ頻繁に発生するかと、どれだけのプレイヤーがそれを行うかの両方を反映します。
• 参加者あたりは、少なくとも1回イベントをログした登録プレイヤーのみで割ります。この分母を使用すると、どれだけのプレイヤーが関与しているかに関係なく、関与するプレイヤーの間での強度を測定できます。

例外はインスタンスあたりのファunnel転換で、これはプレイヤーではなくファunnelインスタンスで割ります。

カスタムイベントメトリック

カスタムイベントタイプを選択し、次の計算のいずれかを選択します：

たとえば、新しいハーブ収集ループをテストしているとします。HerbsGatheredイベントに対してすべてのユーザーあたりの平均カスタム値を追加して、バリアントが全体のグループでの収集を増加させるかどうかを確認し、同じイベントに対して参加率を追加して、無視していたプレイヤーを引き付けるかどうかを確認します。

経済メトリック

通貨を選択し、次の計算のいずれかを選択します：

特定の経済の部分での支出を測定するには、特定の取引タイプやアイテムSKUでフィルタリングします。

たとえば、新しいシーズンパスをテストしており、進行報酬としてコインを提供しているとします。最終的な独占的な賞品に時間内に到達するには、プレイヤーがゲームプレイのブーストにコインを支出する必要があります。コイン通貨に対して：

• 平均通貨シンク変動は、プレイヤーがより多く支出しているかどうかを示します。
• 平均通貨ソース変動は、プレイヤーがより多くのコインを獲得しているかどうかを示します。
• 平均ネット通貨変動は、追加の支出が残高のインフレを防ぐのに十分かどうかを示します。

ファunnelメトリック

ファunnelを選択し、完了ステップを選択し、次の計算のいずれかを選択します：

ファunnelメトリックに関して留意すべき点：

• 完了ステップを選択する必要があります。 実験が開始された後はこのステップを変更できないため、メトリックにとって重要なステップを選択してください。
• 一度きりのファunnelは、両方の計算で同じ結果を返します。 一度きりのファunnel（オンボーディングファunnelを含む）では、各プレイヤーが1つのインスタンスしか持たないため、ユーザーあたりとインスタンスあたりの転換は等しくなります。計算は、funnelSessionIdを使用する再発ファunnelでのみ異なります。
• 再発ファunnelは異なる質問に答えます。 ユーザーあたりの転換は「何人のプレイヤーがこれを少なくとも1回完了したか」を答え、インスタンスあたりの転換は「試みが成功する頻度」を答えます。これらのメトリックは逆の方向に動く可能性があります。
• スキップされたステップは完了としてカウントされます。 プレイヤーがステップ3をログしたが、ステップ1と2をログしていない場合、ファunnelはステップ1と2を完了として扱います。繰り返されたステップは1回のみカウントされます。詳細については、スキップされたステップと繰り返されたステップを参照してください。

たとえば、チュートリアルを再構築したとします。完了ステップとして最終ステップを持つオンボーディングファunnelにユーザーあたりのファunnel転換率を追加し、目標メトリックにします。その後、D1リテンションを確認して、より良い完了が実際にプレイヤーの戻りにつながるかどうかを確認します。

カスタムメトリックの例

カスタムメトリックの結果を読む

実験メトリックは累積ですが、分析ダッシュボードは日次です。実験メトリックは、実験ウィンドウ全体を合計し、分母がプレイヤーの場合は各プレイヤーを1回のみカウントします。分析ページはデフォルトで日次ビューを使用するため、同じ基礎となるイベントが2つの場所で異なる数値を生成します。分析を使用してイベントを探索し、正しく発火していることを確認し、実験結果を使用してバリアントをコントロールと比較します。

カスタムメトリックを解釈する際には、以下の点に留意してください：

• トップラインメトリックなしで動くカスタムメトリックは情報であり、ノイズではありません。 これは通常、変更が機械的に機能したが、リテンションや収益に統計的に有意な影響を与えていないか、今後も与えないことを意味します。
• 方向が必ずしも良いニュースではありません。 勝率の低下は、確立されたプレイヤーに対してより多くの挑戦を追加した場合、まさに望んでいたことかもしれません。実験が始まる前に、どの方向が勝利と見なされるかを決定してください。
• 統計的有意性は依然として適用されます。 カスタムメトリックは、他のメトリックと同じサンプルサイズの制約を受けます。変更が統計的に有意でない場合は、それに基づいて行動しないでください。
• 1つのメトリックを過度に強調しないでください。 目標メトリックが上昇しているが、学習メトリックが大幅に低下している場合、明確な勝利ではなく、考慮すべきトレードオフがあります。

報酬付きビデオメトリック

報酬付きビデオ広告は、Robuxを使わないプレイヤーからもゲームからより多くの収益を得るのに役立ちます。ただし、報酬付きビデオ広告の配置をゲームとその経済に合わせて調整する必要があります。広告を配置する場所や、プレイヤーに報酬を与えるアイテムは、広告収益やエンゲージメントに影響を与えます。

報酬付きビデオ収益メトリックセットは、広告のパフォーマンスをデフォルトのエンゲージメント、リテンション、マネタイズメトリックの選択とともに追跡し、広告を実行してもゲームの他の部分に悪影響を与えないことを確認できます。これを使用して：

• 報酬付き広告を調整する。 より大きな報酬や異なる配置をテストし、オプトイン率や頻度が上昇するかどうかを確認します。
• トレードオフを確認する。 広告収益が増加した場合、プレイ時間、リテンション、または支払い者転換が減少したかどうかを確認します。ユーザーあたりの総収益は、広告とマイクロトランザクションの組み合わせの効果を示します。
• 支払わないプレイヤーにリーチする。 広告オプションが購入を行っていないプレイヤーから収益をもたらすかどうかをテストし、支払い者の支出を減少させないようにします。

報酬付きビデオ収益実験の設定

報酬付きビデオ実験はゲーム内実験であるため、他のゲーム内実験と同様に機能します。広告機能（報酬のサイズや広告の頻度など）を設定で制御します。各バリアントには異なる設定値があり、コードはConfigService:GetConfigForPlayerAsync()で値を読み取ります。詳細については、コードに実験を追加するを参照してください。

1. テストしたい報酬付きビデオ広告の設定がまだない場合は、作成します。たとえば、現在のクールダウン時間をコントロール値として持つ数値設定キーadCooldownSecondsを作成します。

2. Creator Hubの実験ページで、実験を作成をクリックします。

3. タイプとして体験内を選択します。

4. メトリックセットとして報酬付きビデオ収益を選択します。Robloxはユーザーあたりのインプレッションとユーザーあたりの総収益を目標メトリックとして設定するため、1つを選択する必要はありません。

   

5. 実験の設定を通常通り完了します：期間、ロールアウトパーセンテージ、バリアント、ターゲティング、スケジューリング。

報酬付きビデオ収益メトリック

報酬付きビデオ収益メトリックセットは、広告メトリックを追跡し、デフォルトのメトリックの選択を追加して、広告がエンゲージメント、リテンション、またはマネタイズに悪影響を与えないことを確認します。

特定のオーディエンスに実験をターゲット設定する

デフォルトでは、ゲーム内実験はロールアウトパーセンテージに含まれる任意のプレイヤーを登録できます。ターゲティングを使用すると、特定の国のプレイヤー、特定の在籍期間、またはアクティブな支出者層など、特定のオーディエンスに対して実験を実行できます。ターゲティングは、設定ターゲティングと同じ属性を使用します。

ターゲット設定された実験の設定

ターゲティング基準は、実験を作成するときに設定します。実験が開始された後は、ターゲティングルール、コントロール値、バリアント、または設定キーが使用する条件付きルールを変更できません。

ターゲティングを定義するために、設定から既存の条件ルールを再利用できますが、実験は各ルールの独立したコピーを保存します。元の設定条件を後で編集または削除しても、実験のターゲティングには影響しません。

オーディエンスを絞るとサンプルサイズが減少するため、Robloxはターゲティング基準に一致するオーディエンスの推定値を使用して最小検出効果（MDE）を更新します。ターゲット設定されたオーディエンスが統計的に意味のある結果を生成するのに十分な大きさであることを確認してください。

Robloxがターゲット値を解決する方法

Robloxは、標準の条件付き設定のルールの前に最初に実験を評価します。設定キーにアクティブな実験がある場合、Robloxは次の順序で値を解決します：

1. プレイヤーがターゲット設定され、登録されている場合、アクティブな実験の値。
2. 最初の一致する設定条件。
3. その後の一致する設定条件。
4. デフォルト値。

コントロールグループのプレイヤーは、既存の設定ルールが生成する値を受け取ります。同じ設定キーで同時に複数のアクティブな実験を実行することはできません。

セッションごとの評価

Robloxはターゲティング属性をセッションごとに評価するため、個々のプレイヤーの適格性は時間とともに変わる可能性があります：

• プレイヤーがセッション中にターゲティング基準に一致する場合、登録されて実験バリアントを受け取ることができます。
• 後のセッションで一致しなくなった場合、実験値を受け取らなくなり、すぐに標準の設定ルールに戻ります。実験が適格性を超えて継続性を必要とする場合（たとえば、新規プレイヤーを対象としたマルチセッションのオンボーディングフローなど）、データストアなどで値を保持する必要があります。

プレイヤーのデータは、登録されたバリアント（またはコントロール）に帰属し、基準に一致しなくなった場合でも保持されます。たとえば、D7リテンションは、0日目に登録されたプレイヤーが7日目に戻ったかどうかをカウントしますが、4日目にはもはや基準に合致しなくなった場合でもカウントされます。

実験が実行中の設定変更

設定のドリフトや実験データの破損を防ぐため、Robloxは実験が実行される瞬間に設定キーをロックします：

• 実行中の設定キーを編集または削除することはできず、その標準の条件付き値を変更することもできません。
• アクティブな設定が参照するグローバル条件もロックされます。それらを編集、削除、または相互に順序を変更することはできません。

ロックは、実験が完了すると解除されます。

コードに実験を追加する

ゲーム内実験を適用することは、設定を適用するの手順に似ています。主な違いは、ConfigService:GetConfigForPlayerAsync()を使用することです。

GetConfigForPlayerAsync()は、プレイヤー固有のスナップショットを取得します。GetValue()を呼び出すと、スナップショットはアクティブな実験をチェックし、ロールアウトパーセンテージに基づいてユーザーを登録（または登録しない）します。

local ConfigService = game:GetService("ConfigService")
local Players = game:GetService("Players")

local function onPlayerAdded(player)
    local playerConfig = ConfigService:GetConfigForPlayerAsync(player)
    local leaderboardColor = playerConfig:GetValue("leaderboardColor")
end

Players.PlayerAdded:Connect(onPlayerAdded)

• 各プレイヤーに対してGetConfigForPlayerAsync()を別々に呼び出す必要があります。GetConfigAsync()は実験を適用しません。

• プレイヤー固有のスナップショットでGetValue()を呼び出すと、そのスナップショットに関連付けられたプレイヤーは、そのキーとそのキーのみの実験に登録されます。以降の呼び出しは、実験の期間中、同じコントロールまたはバリアントを返します。最初の呼び出しのみがランダムです。

  必要になるまでGetValue()を呼び出さないでください。GetValue()を早すぎる段階で呼び出すと、実験しているゲームの部分に対話しないプレイヤーを登録する可能性があります。

• 実験への登録は新規ユーザーに限定されません。以前にGetConfigAsync()から値を受け取ったユーザーでも、GetConfigForPlayerAsync()からのプレイヤー固有のスナップショットを使用して実験に登録できます。

• プレイヤー固有のスナップショット内のキーにアクティブな実験がない場合、GetValue()は標準の設定値（または値がない場合はnil）を返します。

カスタム登録

ゲーム内状態に基づいて条件を満たすプレイヤーのみを登録したい場合は、それらの条件を確認するための追加のコードを書く必要があり、その後にGetValue()を呼び出して実験に登録します。次の例を考えてみてください：

• レーシングゲームで新しいコントロールスキームをテストしたい。
• このスキームは上級者向けで、多くのレースに勝ったプレイヤーをターゲットにしたい。

あなたのコードは次のようになるかもしれません：

local function getControlScheme(player, racesWon)
    if racesWon < 20 then
        return "standardScheme"
    else
        -- プレイヤーは多くの勝利を持っているので、実験に登録
        local playerConfigSnapshot = ConfigService:GetConfigForPlayerAsync(player)
        if playerConfigSnapshot:GetValue("useNewControlScheme") then
            return "newScheme"
        else
            return "standardScheme"
        end
    end
end

コントロールスキームを次回のセッションでも持続させたい場合は、プレイヤーのデータストアのエントリに値を追加する必要があります。

結果を表示して解釈する

表示をクリックして詳細と結果を確認します。詳細と進行状況タブでは、登録されたプレイヤーの総数や、コントロール値と各バリアントを受け取ったプレイヤーの数を確認できます。このページを実験の早い段階で表示することは、実験が正しく実行されていることを確認するために役立ちますが、行動を起こすためではありません。行動を起こす前に、ベストプラクティスを確認してください。

早期の害メトリック

最初の24時間、または最初のデイリー結果が到着するまで、早期の害メトリックは5分ごとに更新され、意図しない重大な害を早期にキャッチできます。メトリックをクリックしてこれらの結果を確認します。赤で強調表示された重大な害を持つメトリックを探します。

メトリックにカーソルを合わせて信頼度を表示をクリックすると、信頼区間を確認できます。

このウィンドウでは、結果は害のみをテストするため、信頼区間には下限がなく、上限のみがあります。メトリックが重大な害としてフラグ付けされるのは、信頼区間全体が重大な害の閾値を下回る場合のみです。次の例では、プレイ時間が-12.67%で、上限が-2.73%です。推定値は重大な害の閾値である-10%を下回っており、信頼区間全体が0%を下回っていますが、信頼区間が害の閾値を完全に下回っていないため、メトリックは重大な害として分類されません。

これらの結果は、最初の24時間の早期停止の決定を導くためにのみ使用してください。立ち上げの決定には使用しないでください。代わりにデイリー結果を参照してください。

早期の害閾値

各メトリックには独自の早期の害閾値があります。バリアントのリフトがこの閾値を下回ると、そのメトリックに対して重大な害として分類されます。ただし、バリアントとコントロールの間で登録されたプレイヤーが10,000人未満の場合、バリアントのリフトは表示されますが、害に関する決定は、サンプルサイズが十分なデータを提供するまで行われません。

早期の害通知

実験中に早期の害分析期間中に重大な害が検出された場合、ゲームオーナーと実験オーナーに早期の行動のための通知が送信されます。通知は、メール、Creator Hubの通知トレイ、およびオプションのWebhookを介して送信されます。早期の害通知を受け取ったら、実験メトリックを確認し、実験を早期に停止するかどうかを決定してください。

デイリー結果

実験が少なくとも24時間実行された後、結果をクリックして最新の結果を確認します。これらは24時間ごとに更新されます。目標メトリックの統計的に有意な変化を探し、ダッシュボードはこれを緑または赤で強調表示します。これらの変化は、バリアントの影響を示す可能性が高く、偽陽性や偽陰性である可能性は低くなります。

メトリックが統計的に有意であるのは、そのパーセント変化の信頼区間が0%と重ならない場合です。次の例では、ARPUが2.37%上昇し、下限と上限がそれぞれ0.55%と4.19%であり、この変化は統計的に有意です。

便利なことに、結果ページでは、デフォルトの設定値を実験のバリアントの1つに置き換えることができます。

サンプル比率の不一致

実験が期待される割合でユーザーをバリアントに登録できない場合、実験結果タブに**サンプル比率の不一致（SRM）**の警告バナーが表示されます。SRMが検出された場合、実験を停止して再起動することをお勧めします。

SRMは、実験の最初の24時間ごとに5分ごとにチェックされ、その後は毎日チェックされます。SRMは実験結果を無効にする可能性があるため、妥協された信頼性の低い結果に基づいて立ち上げの決定を行わないでください。

決定を下す

実験が終了したら、決定を下すをクリックしてガイド付きロールアウトを開始します。Robloxは、統計的有意性や実験の期間に関する警告を表示し、勝利したバリアントを選択するか、コントロールを維持するように促します。選択に基づいて、Robloxは適切な変更を永続的な設定にロールアウトします。設定ページに戻ると、新しい値が表示されます。気が変わった場合は、勝者を変更をクリックします。

実験を完了したときに設定に未解決の段階的変更がある場合、Robloxはそれらを一時的に保管し、ロールアウト後に最善の努力で復元します。

あなたの決定は、Robloxが提案する設定変更を決定します：

• コントロール：Robloxは既存の設定に変更を加えません。
• ターゲット設定されていないバリアント：バリアント値が設定の新しいデフォルト値になります。Robloxはその設定キーに対する他のすべての条件を削除しますが、それらはグローバル条件リストに残ります。
• ターゲット設定されたバリアント：Robloxは、勝利したルールをこの優先順位の順序で最初に適用可能なオプションを使用して、永続的な設定に統合します：

  1. 上書き：同一の条件が設定の最上部にすでに存在する場合、Robloxはその値を勝利したバリアントの値で上書きします。
  2. 既存の追加：一致するグローバル条件が存在し、自然に最上部に位置する場合、Robloxはその設定にバリアントの値を追加します。
  3. 昇格：一致するグローバル条件が、他の設定を変更せずにこの設定のトップルールにするために必要な最低ランクに安全に昇格できる場合、Robloxはそれを設定に追加し、グローバルに順序を変更します。
  4. 新規作成：それ以外の場合、Robloxは設定で現在使用されている最も高い条件の1レベル上に新しいグローバル条件を作成します。これにより、設定内に重複するルールが作成される場合、Robloxはグローバルルールを保持しながら冗長な条件値を削除します。

実験のベストプラクティス

• 最小検出効果（MDE）を使用して、実験を実行する価値があるかどうかを判断します。

  Robloxは、目標メトリックとバリアントごとのプレイヤー数に基づいてMDEを計算します。これは、日次アクティブユーザー、ロールアウトパーセンテージ、実験期間、バリアントの分割に基づいています。目標メトリックのMDEが高すぎる場合（たとえば、100%を超える場合）、統計的有意性に達することは難しいです。1,000人未満のデイリーアクティブユーザーを持つゲームは、実験から有用なデータを得るのが難しいかもしれません。

  

• 仮説から始める。 単に変数を変更して結果を確認するのではなく、変更したこと、期待される結果、理由についての因果関係の声明を書いてください。実験を重ねるにつれて、結果に伴う書面による仮説のセットを持つことは、思考を明確にし、新しい実験のアイデアを刺激するのに役立ちます。

• 実験をその全期間実行させる。 新しさの効果（改善されているのではなく、新しいために変更に一時的に興味を持つこと）は、初期の結果を大きく歪める可能性があり、時には統計的有意性の内外に揺れ動くことがあります。実験を早期に終了すると、データが平滑化したり、反対の結果を示したりする異常なスパイクに基づいて早急な行動を取るリスクが高まります。

  • 例外は、最初の24時間の早期の害です。メトリックが重大な害としてフラグ付けされている場合や、サンプル比率の不一致が見られる場合は、確認して停止を検討してください。立ち上げの決定には早期の害の結果を使用しないでください。

• 統計的有意性なしに行動しないでください。 プレイヤー行動の大きな変化に見えるものでも、一般的にサンプルサイズが小さいため、統計的に有意でない場合があります。変更が統計的に有意でない場合は、それに基づいて行動しないでください。

• 実験中の変更を避ける。 重大なバグはもちろん修正が必要ですが、ゲームコンテンツの変更はプレイヤー行動に影響を与え、結果を無効にする可能性があります。たとえ変更が実験に無関係に見えても。同様に、実験が互いに影響しないと確信している場合を除き、同時に実験を実行しないでください。

• メトリックの深掘りには信頼区間を使用すると、統計的有意性の境界ケースを確認します。信頼区間が広すぎる場合、メトリックは統計的有意性に達しない可能性があります。

• 1つのメトリックが大幅に上昇し、別のメトリックが大幅に低下している場合、トレードオフが価値があるかどうかを決定する必要があります。他の統計的に有意な動きと組み合わせて行うこともあります。

• 実験は強い信号を提供しますが、統計的有意性は確実性ではなく確率を扱います。したがって、信頼区間があります。データの変動性、サンプルサイズ、変化の大きさは、バリアントがプレイヤー行動に影響を与えたかどうかを検出する確率に影響を与えます。実験の結果に基づいて行動を起こす場合は、プレイヤーのフィードバックやゲーム全体のビジョンなどの定性的データとバランスを取る必要があります。

• 発見と決定を文書化する。 追加の実験を実行するために使用しなくても、知識と証拠の体を持つことは、ゲームの設計方法に影響を与える可能性があります。