實驗

實驗 讓你在遊戲內和配對中進行 A/B 測試，以測量對遊戲變更的因果影響。例如，你可以向不同的玩家展示不同的入門體驗，並測量遊戲時間、留存率和其他關鍵績效指標的差異。

實驗非常適合測量以下內容：

• 參與度 - 入門流程、進度系統、控制方案、自定義配對
• 營收 - 商店可見性和用戶體驗、起始包類型、定價

創建實驗

實驗有兩種類型：

• 遊戲內 實驗讓你測量不同 配置值 的影響。
• 配對實驗 讓你測量不同 自定義配對配置 的影響。與遊戲內實驗不同，你一次只能運行一個配對實驗。

1. 如果你還沒有 配置，為你的遊戲創建一個。

2. 在 Creator Hub 的 實驗 頁面上，點擊 創建實驗。

3. 對於 類型，選擇 遊戲內。

4. 指定實驗的名稱。

5. 對於 指標集，選擇你希望實驗跟蹤的指標集：

   指標集	追蹤內容
   默認	標準性能和參與度 指標，如 ARPU、會話時間和新用戶留存率。
   獎勵視頻收益	獎勵視頻廣告的指標：選擇參與率、頻率、展示次數、廣告收益和每位用戶的總收益，以及默認的參與度、留存率和營收指標。
   自定義	默認指標加上最多三個你從 自定義、經濟 和 漏斗 事件中定義的 自定義指標。

   

6. 指定實驗的目標指標和計劃持續時間。實驗的持續時間為 14 到 60 天。

   無論你選擇什麼作為目標指標，實驗都會跟蹤指標集中的所有指標。如果你選擇 獎勵視頻收益 指標集，Roblox 會為你設置目標指標，因此你只需指定持續時間。

7. 選擇百分比推出。這個數字是你希望包含在實驗中的玩家百分比。

   一般來說，包含在實驗中的人越多，數據就越好，但根據你的遊戲情況做出判斷。

   注意 最小可檢測效應，這是實驗可以可靠檢測到的所選指標的最小變化。

8. 指定變體和百分比。

   變體是你配置的替代值。對於一個數值配置鍵 bossHealth，控制值為 500，你可以指定一個變體為 300。你可以在一個實驗中擁有最多 兩個變體 和一個控制。

   百分比決定如何在 實驗推出 中分配變體。考慮以下示例：

   • 你選擇總體推出 40%。
   • 你指定兩個變體，並在它們和控制之間進行 50/50 分配。

   在這個示例中，60% 的用戶被排除在實驗之外；這些用戶接收控制，對實驗結果沒有影響。大約 20% 的用戶作為實驗的一部分接收控制。另一個 20% 接收變體。根據你的玩家數量，這種分配可能不足以產生可行的結果。

   當不確定時，我們建議在大規模推出中進行簡單的 50/50 實驗，使用一個變體和一個控制。這樣的實驗更容易配置，結果也更容易解釋。

   

9. （可選）將實驗目標針對特定受眾，以便只有符合條件的玩家有資格參加。目標設定使用與 條件配置 相同的 玩家屬性，你可以直接從你的配置中複製現有條件。更多信息，請參見 將實驗目標針對特定受眾。

   

10. 最後一步是排程。你可以立即開始實驗或將其排程到未來的日期和時間。排程實驗後，你無法更改其配置（持續時間、推出百分比、變體等），但你可以重新排程。

指標

實驗在實驗持續期間跟蹤以下所有指標。這些指標在實驗運行期間每 24 小時更新一次。然而，在實驗的前 24 小時內，遊戲時間、付費者轉換率和 ARPU 也會每 5 分鐘更新一次，以便你能快速捕捉到關鍵的回歸（早期損害）。

實驗狀態

實驗 頁面顯示實驗的以下狀態。

自定義指標

默認情況下，實驗跟蹤頂線指標，如遊戲時間、ARPU 和 D1 留存率。這些指標告訴你變更是否有整體影響，但你可能還想知道遊戲中發生了什麼具體變化，例如玩家是否更有可能使用某個能力、擊敗某個 Boss 或完成入門流程。

自定義指標 讓你將自己的操作指標添加到遊戲內實驗中，這些指標來自你已經使用 AnalyticsService 記錄的 自定義事件、經濟事件 和 漏斗事件。使用它們來：

• 解釋平坦的結果。 D1 留存率沒有變化，但入門漏斗完成率下降了 8%。你可能不想推出這一變更，或者你可能想測試不同的值。
• 無論如何為推出辯護。 ARPU 平穩，但付費者的硬幣餘額正在更快地減少，這應該會隨著時間的推移改善營收。
• 測試有關核心循環的假設。 如果你相信花更多時間錄製視頻會導致更多分享和更好的留存率，你可以在同一實驗中測量兩者。

開始之前

• 首先記錄你的事件。 你從遊戲發送的事件中構建自定義指標，因此你只能從已經有數據的事件名稱、貨幣和漏斗中選擇。要設置它們，請參見 自定義事件、經濟事件 和 漏斗事件。
• 新事件需要時間處理。 如果你剛添加了一個事件，可能需要最多 24 小時才能在儀表板中顯示。

將自定義指標添加到實驗中

1. 在 Creator Hub 的 實驗 頁面上，點擊 創建實驗，並像往常一樣填寫類型和名稱。

2. 對於 指標集，選擇 自定義。

3. 在 自定義指標 部分，點擊 添加。要重用你為先前實驗創建的指標，請點擊 從過去的實驗中添加。

   

4. 選擇 來源：自定義、經濟 或 漏斗。

5. 選擇指標測量的內容：自定義事件類型、貨幣或漏斗及其完成步驟。

6. 選擇 計算。有關更多信息，請參見 選擇計算。

7. （可選）添加 過濾器 以縮小計入指標的事件範圍。

8. 驗證 指標名稱。Roblox 根據你的選擇生成名稱，但你可以編輯為你的團隊所認可的名稱，或隨時重置。

   

9. 點擊 保存。你最多可以添加三個自定義指標。

10. 對於 目標指標，選擇決定實驗的指標。你的自定義指標將與遊戲時間和每位用戶的平均收入一起出現在此列表中。實驗仍然會跟蹤任何未設置為目標指標的自定義指標作為學習指標。

11. 像往常一樣完成實驗的設置：持續時間、推出百分比、變體、目標設定和排程。

選擇計算

每個計算僅計算參加實驗的玩家，並且僅計算在實驗期間記錄的事件。大多數計算使用兩個基於玩家的分母之一：

• 每所有用戶 除以所有參加實驗組的玩家，包括從未觸發事件的玩家。當你希望指標反映行為發生的頻率以及有多少玩家進行該行為時，使用此分母。
• 每參與者 僅除以至少記錄過一次事件的參加玩家。當你希望測量參與者之間的強度時，無論有多少玩家參與，使用此分母。

例外情況是 每實例漏斗轉換，它是根據漏斗實例而不是玩家進行計算。

自定義事件指標

選擇一個自定義事件類型，然後選擇以下計算之一：

例如，假設你正在測試一個新的採集草藥的循環。添加 每所有用戶的平均自定義值 在 HerbsGathered 事件上，以查看變體是否增加了整個組的採集量，並在同一事件上添加 參與率 以查看它是否吸引了原本會忽略它的玩家。

經濟指標

選擇一種貨幣，然後選擇以下計算之一：

要測量在經濟特定部分的支出，過濾特定交易類型或物品 SKU。

例如，假設你正在測試一個新的季票，該季票作為進度獎勵提供硬幣。你已經調整它，使得及時達到最終獨家獎品需要玩家在遊戲中花費硬幣。對於你的硬幣貨幣：

• 平均貨幣支出變化 告訴你玩家是否在花費更多。
• 平均貨幣來源變化 告訴你玩家是否在賺取更多。
• 平均淨貨幣變化 告訴你額外的支出是否足以防止餘額膨脹。

漏斗指標

選擇一個漏斗，然後選擇一個完成步驟，再選擇以下計算之一：

在考慮漏斗指標時，請記住以下幾點：

• 你必須選擇一個完成步驟。 實驗開始後，無法更改此步驟，因此請選擇對你的指標至關重要的步驟。
• 一次性漏斗對兩個計算返回相同的結果。 對於 一次性漏斗，包括入門漏斗，每用戶和每實例轉換是相等的，因為每個玩家只有一個實例。計算僅在使用 funnelSessionId 的 重複漏斗 中有所不同。
• 重複漏斗回答不同的問題。 每用戶轉換回答“有多少玩家至少完成這個”，而每實例轉換回答“嘗試成功的頻率”。這些指標可能會朝相反的方向移動。
• 跳過的步驟計算為完成。 如果玩家記錄了步驟 3 而沒有記錄步驟 1 和 2，則漏斗將步驟 1 和 2 計算為完成。重複的步驟僅計算一次。更多信息，請參見 跳過的步驟 和 重複的步驟。

例如，假設你重新設計了教程。在入門漏斗上添加 每用戶漏斗轉換 %，將最後一步設為完成步驟，並將其設為你的目標指標。然後檢查 D1 留存率，以查看更好的完成是否實際導致玩家回歸。

自定義指標示例

閱讀自定義指標結果

實驗指標是累計的，但 分析 儀表板是每日的。實驗指標累加整個實驗窗口，並且在分母是玩家時，每位玩家計算一次。分析頁面默認為每日視圖，因此相同的基礎事件在兩個地方產生不同的數字。使用分析來探索你的事件並驗證它們是否正確觸發，並使用實驗結果來比較變體與控制。

在解釋自定義指標時，請記住以下幾點：

• 自定義指標的變化而沒有頂線指標是信息，而不是噪音。 這通常意味著變更在機械上有效，但尚未對留存率或收入產生統計上顯著的影響，或者永遠不會。
• 方向不一定是好消息。 如果你為成熟玩家增加了更多挑戰，贏率的下降可能正是你想要的。在實驗開始之前，決定哪個方向算作勝利。
• 統計顯著性仍然適用。 自定義指標受到與任何其他指標相同的樣本大小限制。如果變更在統計上不顯著，則不要採取行動。
• 不要過度強調一個指標。 如果你的目標指標上升，但學習指標顯著下降，你需要權衡取捨，而不是明確的勝利。

獎勵視頻指標

獎勵視頻廣告 可以幫助你從遊戲中獲得更多收益，包括來自不花費 Robux 的玩家。然而，你需要調整獎勵視頻廣告的放置，以適應你的遊戲及其經濟。廣告的放置位置和你獎勵玩家的物品都會影響廣告收益和參與度。

獎勵視頻收益 指標集跟蹤廣告性能以及一系列默認的參與度、留存率和營收指標，因此你可以確保運行廣告不會損害遊戲的其他部分。使用它來：

• 調整獎勵廣告。 測試更大的獎勵或不同的放置位置，檢查選擇參與率和頻率是否上升。
• 檢查取捨。 如果廣告收益上升，檢查遊戲時間、留存率或付費者轉換是否下降。每位用戶的總收益顯示廣告和微交易的綜合影響。
• 接觸不付費的玩家。 測試廣告選項是否能從未進行過購買的玩家那裡帶來收益，而不降低付費者的支出。

設置獎勵視頻收益實驗

獎勵視頻實驗是遊戲內實驗，因此它們的工作方式與任何其他遊戲內實驗相同。你通過 配置 控制廣告功能，例如獎勵大小或廣告頻率。每個變體都有不同的配置值，你的代碼通過 ConfigService:GetConfigForPlayerAsync() 讀取該值。更多信息，請參見 將實驗添加到你的代碼中。

1. 如果你還沒有要測試的獎勵視頻廣告的配置，請創建一個。例如，創建一個數值配置鍵 adCooldownSeconds，其控制值為當前的冷卻時間。

2. 在 Creator Hub 的 實驗 頁面上，點擊 創建實驗。

3. 對於 類型，選擇 遊戲內。

4. 對於 指標集，選擇 獎勵視頻收益。Roblox 將每位用戶的展示次數和每位用戶的總收益設置為目標指標，因此你不需要選擇一個。

   

5. 像往常一樣完成實驗的設置：持續時間、推出百分比、變體、目標設定和排程。

獎勵視頻收益指標

獎勵視頻收益 指標集跟蹤以下廣告指標，以及一系列默認的 指標，以便你檢查廣告是否損害了參與度、留存率或營收。

將實驗目標針對特定受眾

默認情況下，遊戲內實驗可以讓任何玩家參加你的推出百分比。目標設定 讓你可以針對特定受眾運行實驗，例如某些國家的玩家、特定的任期窗口或活躍的支出層級。目標設定使用與 配置目標設定 相同的屬性。

設置目標實驗

你在 創建實驗 時配置目標標準。實驗開始後，你無法更改目標規則、控制值、變體或配置鍵使用的任何條件規則。

你可以重用現有的條件規則來定義你的目標，但實驗會存儲每條規則的獨立 副本。稍後編輯或刪除原始配置條件不會對實驗的目標設定產生影響。

由於縮小受眾會減少樣本大小，Roblox 使用符合你目標標準的受眾估算來更新 最小可檢測效應 (MDE)。確保你的目標受眾足夠大，以產生統計上有意義的結果。

Roblox 如何解析目標值

Roblox 首先 評估實驗，然後才是標準條件配置的任何規則。當配置鍵有一個活動實驗時，Roblox 按以下順序解析值：

1. 活動實驗值（如果玩家被目標並參加）。
2. 第一個匹配的配置條件。
3. 任何後續匹配的配置條件。
4. 默認值。

控制組中的玩家接收現有配置規則產生的值。你一次不能在同一配置鍵上運行多個活動實驗。

每會話評估

Roblox 每會話 評估目標屬性，因此單個玩家的資格可能會隨時間變化：

• 如果玩家在會話中符合你的目標標準，他們可以被參加並接收實驗變體。
• 如果他們在後續會話中不再符合標準，他們將停止接收實驗值，並立即回退到你的標準配置規則。如果你的實驗需要超越資格的連續性——例如，針對新玩家的多會話入門流程——則需要自己持久化該值，例如在 數據存儲 中。

玩家的數據仍然歸屬於他們所參加的變體（或控制），即使他們稍後不再符合標準。例如，D7 留存率仍然計算在第 0 天參加的玩家，無論他們在第 7 天是否回來，即使他們在第 4 天不再符合資格。

實驗運行期間的配置變更

為了防止配置漂移和損壞的實驗數據，Roblox 在實驗開始運行的時候 鎖定配置鍵：

• 你無法編輯或刪除運行中的配置鍵，也無法修改其標準條件值。
• 任何活動配置引用的全局條件也會被鎖定。你無法編輯、刪除或重新排序它們。

鎖定在實驗完成時解除。

將實驗添加到你的代碼中

應用遊戲內實驗類似於 應用配置。主要區別在於使用 ConfigService:GetConfigForPlayerAsync() 而不是 ConfigService:GetConfigAsync()。

GetConfigForPlayerAsync() 獲取玩家特定的快照。當你調用 GetValue() 時，快照會檢查是否有活動實驗，並根據推出百分比將用戶參加（或不參加）。

local ConfigService = game:GetService("ConfigService")
local Players = game:GetService("Players")

local function onPlayerAdded(player)
    local playerConfig = ConfigService:GetConfigForPlayerAsync(player)
    local leaderboardColor = playerConfig:GetValue("leaderboardColor")
end

Players.PlayerAdded:Connect(onPlayerAdded)

• 你必須為每個玩家單獨調用 GetConfigForPlayerAsync()；GetConfigAsync() 不適用於實驗。

• 在玩家特定的快照上調用 GetValue() 後，與快照相關聯的玩家將參加該鍵的實驗，僅限於該鍵。所有後續調用該方法將在實驗期間返回相同的控制或變體。只有第一次調用是隨機的。

  等待調用 GetValue() 直到你需要它。過早調用 GetValue() 可能會導致你參加那些從未與你正在實驗的遊戲部分互動的玩家。

• 參加實驗不限於新用戶。即使用戶之前從 GetConfigAsync() 獲得了一個值，你仍然可以使用來自 GetConfigForPlayerAsync() 的玩家特定快照將他們參加實驗。

• 如果玩家特定快照中的某個鍵沒有活動實驗，則 GetValue() 返回標準配置值（如果沒有值則返回 nil）。

自定義參加

如果你只想參加符合基於遊戲內狀態的標準的玩家，你必須編寫額外的代碼來檢查這些標準，然後再調用 GetValue() 以將他們參加實驗。考慮以下示例：

• 你想在你的賽車遊戲中測試一個新的控制方案。
• 該方案是針對高級玩家的，因此你想針對贏得大量比賽的玩家。

你的代碼可能看起來像這樣：

local function getControlScheme(player, racesWon)
    if racesWon < 20 then
        return "standardScheme"
    else
        -- 玩家贏得了很多比賽，參加實驗
        local playerConfigSnapshot = ConfigService:GetConfigForPlayerAsync(player)
        if playerConfigSnapshot:GetValue("useNewControlScheme") then
            return "newScheme"
        else
            return "standardScheme"
        end
    end
end

如果你希望控制方案在後續會話中持久化，你可能需要在數據存儲中為玩家的條目添加一個值。

查看和解釋結果

點擊 查看 以查看詳細信息和結果。在 詳細信息和進度 標籤中，你可以看到參加的玩家總數，以及接收控制值和每個變體的玩家數量。早期查看此頁面對於確保實驗正常運行非常有用，而不是 用於採取行動。在採取行動之前，請參見 最佳實踐。

早期損害指標

在前 24 小時內，或直到第一個每日結果到達，早期損害 指標 每 5 分鐘更新一次，以便你能夠及早捕捉到意外的關鍵損害。點擊 指標 以查看這些結果。尋找以紅色突出顯示的關鍵損害指標。

將鼠標懸停在指標上並點擊 查看置信度 以查看置信區間。

在此窗口中，結果僅測試損害，因此置信區間沒有下限，只有上限。如果整個置信區間低於關鍵損害閾值，則指標被標記為關鍵損害。在以下示例中，遊戲時間為 -12.67%，上限為 -2.73%。即使估計值低於 -10% 的關鍵損害閾值，且整個置信區間低於 0%，該指標仍未被歸類為關鍵損害，因為該區間並不完全低於損害閾值。

僅將這些結果用於指導前 24 小時的早期停止決策。不要 將它們用於啟動決策，請依賴 每日結果。

早期損害閾值

每個指標都有自己的早期損害閾值。如果變體的提升低於此閾值，則將被歸類為對該指標的關鍵損害。然而，對於在變體和控制之間參加的玩家少於 10,000 的指標變體比較，將顯示變體提升，但在樣本大小提供足夠數據以可靠檢測損害之前，不會做出損害決策。

早期損害通知

如果在早期損害分析期間檢測到實驗中的關鍵損害，則會向遊戲擁有者和實驗擁有者發送通知以便及早採取行動。通知通過電子郵件、Creator Hub 通知區和可選的 Webhook 發送。收到早期損害通知後，你應該查看實驗指標並決定是否應提前停止實驗。

每日結果

在實驗運行至少 24 小時後，點擊 結果 以查看最新結果，這些結果每 24 小時更新一次。尋找目標指標的統計顯著變化，儀表板會以綠色或紅色突出顯示。這些變化更有可能顯示變體的影響，並且不太可能是假陽性或假陰性。

當指標的百分比變化的置信區間不與 0% 重疊時，該指標被認為是統計顯著的。在以下示例中，ARPU 上升了 2.37%，下限和上限分別為 0.55% 和 4.19%，這使得變化在統計上顯著。

為了方便，結果頁面允許你用實驗中的變體替換默認配置值。

樣本比例不匹配

如果你的實驗未能以預期的比例將用戶分配到變體中，則在實驗結果標籤中會出現 樣本比例不匹配 (SRM) 的警報橫幅。如果檢測到 SRM，建議停止並重新啟動實驗。

SRM 在實驗的前 24 小時內每 5 分鐘檢查一次，然後每天檢查一次。SRM 可能會使實驗結果無效；不要根據受損和不可靠的結果做出啟動決策。

做出決策

當你的實驗結束時，點擊 做出決策 以開始引導推出。Roblox 會顯示有關統計顯著性和實驗持續時間的任何警告，然後提示你選擇獲勝的變體或保留控制。根據你的選擇，Roblox 將適當的變更推出到你的永久配置中；返回 配置 頁面會顯示新值。如果你改變主意，點擊 更改獲勝者。

如果在完成實驗時你的配置上有未解決的分階段變更，Roblox 會暫時將它們存放起來，並在推出後根據最佳努力恢復它們。

你的決策決定了 Roblox 提出的配置變更：

• 控制：Roblox 不會對你現有的配置進行任何更改。
• 未目標變體：變體值成為配置的新默認值。Roblox 會刪除該配置鍵上的所有其他條件，但它們仍然保留在你的全局條件列表中。
• 目標變體：Roblox 將獲勝規則整合回你的永久配置中，使用此優先順序中的第一個適用選項：

  1. 覆蓋：如果相同的條件已經位於配置的頂部，Roblox 將用獲勝變體的值覆蓋其值。
  2. 添加現有：如果存在匹配的全局條件，並且自然會位於頂部，Roblox 將其添加到配置中，並使用變體的值。
  3. 提升：如果匹配的全局條件可以安全地提升到使其成為該配置中頂部規則所需的最低等級（而不改變其他配置），Roblox 將其添加到配置中並在全局重新排序。
  4. 創建新：否則，Roblox 創建一個新的全局條件，排名高於當前配置中使用的最高條件。如果這會在配置中創建重複規則，Roblox 將刪除冗餘的條件值，同時保留全局規則。

實驗的最佳實踐

• 使用最小可檢測效應 (MDE) 來決定你的實驗是否值得運行。

  Roblox 使用你的目標指標和每個變體的玩家數量計算 MDE，這基於每日活躍用戶、推出百分比、實驗持續時間和變體分配。如果 MDE 對於你的目標指標過高（例如，超過 100%），則不太可能達到統計顯著性。每日活躍用戶少於 1,000 的遊戲可能難以從實驗中獲得有用數據。

  

• 從假設開始。 不要僅僅改變一個變量並檢查結果，寫下關於你所改變的內容、你期望發生的事情以及為什麼的因果關係聲明。隨著你進行越來越多的實驗，擁有一組書面假設來伴隨你的結果可以幫助澄清你的思維並激發新的實驗想法。

• 讓實驗運行其完整的持續時間。 新奇效應（對變更的暫時興趣，並不是因為它更好，而是因為它是新的）可能會嚴重扭曲早期結果，有時會導致它們在統計顯著性中進出。提前結束實驗會增加你根據異常峰值採取過早行動的機會，而這些峰值更多的數據會平滑或甚至反駁。

  • 例外情況是 早期損害 在前 24 小時內：如果指標被標記為關鍵損害或你看到 樣本比例不匹配，請檢查並考慮停止。不要 將早期損害結果用於啟動決策。

• 不要在沒有統計顯著性的情況下採取行動。 即使看似大的玩家行為變化也可能不是統計顯著的，通常是由於樣本大小小。如果變更在統計上不顯著，則忽略它。

• 避免在實驗期間進行變更。當然，重大錯誤需要修復，但對遊戲內容的變更可能會影響玩家行為並使你的結果無效，即使這些變更 看起來 與你的實驗無關。同樣，僅在你確信它們不會相互影響的情況下同時運行實驗。

• 使用置信區間深入分析 指標並檢查統計顯著性的邊界情況。如果置信區間過寬，則該指標可能永遠無法達到統計顯著性。

• 如果一個指標顯著上升而另一個指標顯著下降，你必須 決定這種取捨是否值得，可能還要結合其他統計顯著的變化。

• 實驗提供強信號，但 統計顯著性處理的是概率，而不是確定性——因此有置信區間。數據變異性、樣本大小和變化的幅度都會影響檢測變體是否影響玩家行為的概率。根據實驗結果採取的任何行動都應與質性數據（如玩家反饋和你對遊戲的整體願景）相平衡。

• 記錄你的發現和決策。 即使你不使用它們來運行額外的實驗，擁有一個知識體系和證據可以幫助你設計遊戲。