实验

*此内容使用人工智能(Beta)翻译,可能包含错误。若要查看英文页面,请点按 此处。

实验让您在游戏内和匹配中进行 A/B 测试,以衡量对游戏更改的因果影响。例如,您可以向不同的玩家展示不同的入门体验,并衡量游戏时间、留存率和其他关键绩效指标的差异。

实验非常适合衡量以下内容:

  • 参与度 - 入门流程、进度系统、控制方案、自定义匹配
  • 货币化 - 商店可见性和用户体验、起始包类型、定价
Creator Hub 上实验页面的概述

创建实验

实验分为两种类型:

  • 游戏内实验让您衡量不同 配置值 的影响。
  • 匹配实验让您衡量不同 自定义匹配配置 的影响。与游戏内实验不同,您一次只能运行一个匹配实验。
  1. 如果您还没有 配置,请为您的游戏创建一个。

  2. 在 Creator Hub 的 实验 页面上,点击 创建实验。

  3. 对于 类型,选择 游戏内。

  4. 指定实验的名称。

  5. 对于 指标集,选择您希望实验跟踪的指标集:

    指标集跟踪内容
    默认标准性能和参与度 指标,如 ARPU、会话时间和新用户留存率。
    奖励视频收益奖励视频广告的指标:选择加入率、频率、展示次数、广告收益和每用户总收益,以及默认的参与度、留存率和货币化指标。
    自定义默认指标加上您从 自定义、经济 和 漏斗 事件中定义的最多三个 自定义指标。
    指标集下拉菜单,包含默认、奖励视频收益和自定义选项
  6. 指定实验的目标指标和计划持续时间。实验持续时间为 14 到 60 天。

    无论您选择什么作为目标指标,实验都会跟踪指标集中的所有指标。如果您选择 奖励视频收益 指标集,Roblox 会为您设置目标指标,因此您只需指定持续时间。

  7. 选择百分比推出。这是您希望包含在实验中的玩家百分比。

    一般来说,您在实验中包含的人越多,数据就越好,但请根据您的游戏判断什么是最好的。

  8. 指定变体和百分比。

    变体是您配置的替代值。对于一个数值配置键 bossHealth,其控制值为 500,您可以指定一个变体为 300。您可以在实验中有最多 两个变体 和一个控制。

    百分比决定如何在 实验推出 中分配变体。考虑以下示例:

    • 您选择整体推出 40%。
    • 您指定两个变体,并在它们和控制之间进行 50/50 分配。

    在此示例中,60% 的用户被排除在实验之外;这些用户接收控制,并且对实验结果没有影响。大约 20% 的用户作为实验的一部分接收控制。另有 20% 接收变体。根据您的玩家数量,这种分配可能不足以产生可操作的结果。

    变体页面

  9. (可选)将实验目标定向到特定受众,以便只有匹配的玩家有资格参与。定向使用与 条件配置 相同的 玩家属性,您可以直接从配置中复制现有条件。有关更多信息,请参见 将实验定向到特定受众。

    实验创建过程中的可选定向步骤

  10. 最后一步是调度。您可以立即开始实验或将其调度到未来的日期和时间。调度实验后,您无法更改其配置(持续时间、推出百分比、变体等),但您可以重新调度它。

指标

实验在实验持续期间跟踪以下所有指标。这些指标在实验运行时每 24 小时更新。然而,在实验的前 24 小时内,游戏时间、付费转化率和 ARPU 也会每 5 分钟更新一次,以便您可以快速捕捉到关键回归(早期损害)。

指标描述早期损害?
D1 留存率一天后返回您游戏的新玩家的百分比。否
D7 留存率一周后返回您游戏的新玩家的百分比。否
游戏时间玩家在您游戏中花费的平均时间。实验持续期间的累积。是
ARPU每用户的平均收入。收入除以玩家数量。实验持续期间的累积。是
ARPPU每付费用户的平均收入。收入除以购买游戏相关物品的玩家数量。实验持续期间的累积。否
付费转化率购买游戏相关物品的玩家百分比。实验持续期间的累积。是
会话时间游戏时间除以会话数量。实验持续期间的累积。否

实验状态

实验页面显示实验的以下状态。

状态描述
完成实验结束,这发生在您手动停止它时、您做出决定时,或在决定日期后不久自动结束(游戏内实验为 14 天后,匹配实验立即结束)。您仍然可以查看详细信息和结果。
需要决策实验已达到其决策日期。现在是审查结果的好时机。
运行中实验正在运行,但尚未达到其决策日期。
已调度实验已调度在未来的日期开始。
草稿实验尚未开始或调度。您可以完成设置。

自定义指标

默认情况下,实验跟踪顶线指标,如游戏时间、ARPU 和 D1 留存率。这些指标告诉您更改是否产生了整体影响,但您可能还想知道游戏中发生了什么具体变化,例如玩家是否更有可能使用某个能力、击败某个 Boss 或完成入门流程。

自定义指标让您可以将自己的操作指标添加到游戏内实验中,这些指标基于您已经使用 AnalyticsService 记录的 自定义事件、经济事件 和 漏斗事件。使用它们来:

  • 解释平坦的结果。 D1 留存率没有变化,但入门漏斗完成率下降了 8%。您可能不想推出更改,或者您可能想测试不同的值。
  • 无论如何证明推出的合理性。 ARPU 平稳,但付费者的硬币余额消耗得更快,这应该会随着时间的推移改善货币化。
  • 测试关于核心循环的假设。 如果您相信花更多时间录制视频会导致更多分享和更好的留存,您可以在同一实验中测量这两者。

开始之前

  • 首先记录您的事件。 您从游戏发送的事件构建自定义指标,因此您只能从已经有数据的事件名称、货币和漏斗中进行选择。要设置它们,请参见 自定义事件、经济事件 和 漏斗事件。
  • 新事件需要时间处理。 如果您刚添加了一个事件,可能需要最多 24 小时才能在仪表板中显示。

将自定义指标添加到实验

  1. 在 Creator Hub 的 实验 页面上,点击 创建实验,并像往常一样填写类型和名称。

  2. 对于 指标集,选择 自定义。

  3. 在 自定义指标 部分,点击 添加。要重用您为先前实验创建的指标,请点击 从过去的实验中添加。

    自定义指标部分,包含添加和从过去的实验中添加按钮
  4. 选择 来源:自定义、经济或 漏斗。

  5. 选择指标测量的内容:自定义事件类型、货币或漏斗及其完成步骤。

  6. 选择 计算。有关更多信息,请参见 选择计算。

  7. (可选)添加 过滤器 以缩小哪些事件计入指标。

  8. 验证 指标名称。Roblox 根据您的选择生成名称,但您可以将其编辑为团队识别的名称,或在任何时候重置它。

    添加自定义指标面板,包含漏斗来源、入门漏斗、完成步骤和每用户转化计算
  9. 点击 保存。您可以添加最多三个自定义指标。

  10. 对于 目标指标,选择决定实验的指标。您的自定义指标将与游戏时间和每用户平均收入一起出现在此列表中。实验仍会跟踪您未设置为目标指标的任何自定义指标作为学习指标。

  11. 像往常一样完成实验的设置:持续时间、推出百分比、变体、定向和调度。

选择计算

每个计算仅计算参与实验的玩家,并且仅计算在实验期间记录的事件。大多数计算使用两种基于玩家的分母之一:

  • 每所有用户除以所有参与实验组的玩家,包括从未触发事件的玩家。当您希望指标反映行为发生的频率以及有多少玩家参与时,请使用此分母。
  • 每参与者仅除以至少记录过一次事件的参与玩家。当您希望衡量参与玩家的强度时,请使用此分母,无论有多少玩家参与。

例外情况是 每实例漏斗转化,它是按漏斗实例而不是玩家进行划分的。

自定义事件指标

选择自定义事件类型,然后选择以下计算之一:

计算测量内容
平均自定义值事件的总值,除以至少记录过一次的参与玩家数量。
所有用户的平均自定义值事件的总值,除以所有参与玩家。
参与率记录过事件的参与玩家的比例。

例如,假设您正在测试一个新的采集草药循环。添加 所有用户的平均自定义值 在 HerbsGathered 事件上,以查看变体是否增加了整个组的采集,并在同一事件上添加 参与率 以查看它是否吸引了原本会忽视它的玩家。

经济指标

选择一种货币,然后选择以下计算之一:

计算测量内容
平均净货币增量总来源减去总消耗,除以至少记录过一次来源或消耗事件的参与玩家数量。
平均货币来源增量来源事件的总金额,除以至少记录过一次来源或消耗事件的参与玩家数量。
平均货币消耗增量消耗事件的总金额,除以至少记录过一次来源或消耗事件的参与玩家数量。

要测量您经济中特定部分的支出,请过滤特定交易类型或物品 SKU。

例如,假设您正在测试一个新的季票,它在进度奖励中提供硬币。您已调整它,以便及时达到最终独占奖品需要玩家在游戏中花费硬币。关于您的硬币货币:

  • 平均货币消耗增量 告诉您玩家是否在花费更多。
  • 平均货币来源增量 告诉您玩家是否在赚取更多。
  • 平均净货币增量 告诉您额外的支出是否足以阻止余额膨胀。

漏斗指标

选择一个漏斗,然后选择一个完成步骤,再选择以下计算之一:

计算测量内容
每用户漏斗转化 %达到完成步骤的独特玩家,除以记录过任何步骤的独特玩家。
每实例漏斗转化 %达到完成步骤的独特 funnelSessionId 值,除以记录过任何步骤的所有 funnelSessionId 值。

在漏斗指标中请记住以下几点:

  • 您必须选择一个完成步骤。 实验开始后,您无法更改此步骤,因此请选一个对您的指标至关重要的步骤。
  • 一次性漏斗对两种计算返回相同的结果。 对于 一次性漏斗,包括入门漏斗,每用户和每实例转化是相等的,因为每个玩家只有一个实例。计算仅在使用 funnelSessionId 的 重复漏斗 中有所不同。
  • 重复漏斗回答不同的问题。 每用户转化回答“有多少玩家至少完成一次”,而每实例转化回答“尝试成功的频率”。这些指标可能会朝相反的方向移动。
  • 跳过的步骤计为完成。 如果玩家记录了步骤 3 而没有记录步骤 1 和 2,则漏斗将步骤 1 和 2 视为完成。重复的步骤只计一次。有关更多信息,请参见 跳过的步骤 和 重复的步骤。

例如,假设您重新设计了教程。在入门漏斗上添加 每用户漏斗转化 %,将最后一步作为完成步骤,并将其设为目标指标。然后检查 D1 留存率,以查看更好的完成是否确实导致玩家返回。

自定义指标示例

您更改的内容您想知道的内容要添加的指标
将教程从八个步骤缩短到五个更多新玩家是否完成教程?漏斗:入门,最后一步作为完成的每用户转化 %
在主菜单中添加每日任务按钮更多玩家是否尝试每日任务?自定义:QuestStarted 上的参与率
将速度提升的价格从 100 降低到 50 硬币玩家在商店中是否花费更多硬币?经济:硬币,平均消耗增量,过滤到速度提升物品 SKU
将每日登录奖励的硬币翻倍玩家是否存储了太多硬币?经济:硬币,平均净增量(赚取的硬币减去花费的硬币)

阅读自定义指标结果

实验指标是累积的,但 分析 仪表板是每日的。实验指标累加整个实验窗口,并且在分母为玩家时,每个玩家只计算一次。分析页面默认显示每日视图,因此同一基础事件在两个地方产生不同的数字。使用分析来探索您的事件并验证它们是否正确触发,并使用实验结果来比较变体与控制。

在解释自定义指标时,请记住以下几点:

  • 没有顶线指标的自定义指标变化是信息,而不是噪音。 这通常意味着更改在机械上有效,但尚未对留存或收入产生统计显著影响,或者永远不会。
  • 方向并不总是好消息。 如果您为成熟玩家添加了更多挑战,胜率的下降可能正是您想要的。在实验开始之前,决定哪个方向算作胜利。
  • 统计显著性仍然适用。 自定义指标受与任何其他指标相同的样本大小限制。如果更改没有统计显著性,请不要采取行动。
  • 不要过分强调一个指标。 如果您的目标指标上升,但学习指标显著下降,您需要权衡取舍,而不是明确的胜利。

奖励视频指标

奖励视频广告可以帮助您从游戏中获得更多收益,包括来自不花费 Robux 的玩家的收益。然而,您需要调整奖励视频广告的投放位置,以适应您的游戏及其经济。您放置广告的位置和奖励玩家的物品都会影响广告收益和参与度。

奖励视频收益指标集跟踪广告表现以及一系列默认的参与度、留存率和货币化指标,因此您可以确保运行广告不会损害游戏的其他部分。使用它来:

  • 调整奖励广告。 测试更大的奖励或不同的投放位置,并检查选择加入率和频率是否上升。
  • 检查权衡。 如果广告收益上升,请检查游戏时间、留存率或付费转化是否下降。每用户总收益显示广告和微交易的综合效果。
  • 接触不付费的玩家。 测试广告选项是否能从未进行过购买的玩家那里带来收益,而不会降低付费玩家的支出。

设置奖励视频收益实验

奖励视频实验是游戏内实验,因此它们的工作方式与任何其他游戏内实验相同。您通过 配置 控制广告功能,例如奖励大小或广告频率。每个变体都有不同的配置值,您的代码通过 ConfigService:GetConfigForPlayerAsync() 读取该值。有关更多信息,请参见 将实验添加到您的代码。

  1. 如果您还没有要测试的奖励视频广告的配置,请创建一个。例如,创建一个数值配置键 adCooldownSeconds,将当前冷却时间作为控制值。

  2. 在 Creator Hub 的 实验 页面上,点击 创建实验。

  3. 对于 类型,选择 游戏内。

  4. 对于 指标集,选择 奖励视频收益。Roblox 将每用户展示次数和每用户总收益设置为目标指标,因此您无需选择一个。

    选择奖励视频收益指标集的游戏内实验
  5. 像往常一样完成实验的设置:持续时间、推出百分比、变体、定向和调度。

奖励视频收益指标

奖励视频收益指标集跟踪以下广告指标,以及一系列默认的 指标,以便您检查广告是否不会损害参与度、留存率或货币化。

指标描述
每用户总收益来自奖励视频广告和微交易(开发者产品、通行证、私人服务器和付费访问)的每位玩家收益。实验持续期间的累积。
每用户展示次数每位玩家的广告展示次数。实验持续期间的累积。
选择加入率观看至少一个广告的合格玩家的百分比。
频率广告展示次数除以独特观众。
每用户广告收益来自奖励视频广告的每位玩家收益。实验持续期间的累积。

将实验定向到特定受众

默认情况下,游戏内实验可以让任何玩家参与您的推出百分比。定向让您可以在特定受众上运行实验,例如某些国家的玩家、特定的任期窗口或活跃的支出层级。定向使用与 配置定向 相同的属性。

设置定向实验

您在 创建实验 时配置定向标准。实验开始后,您无法更改定向规则、控制值、变体或配置键使用的任何条件规则。

您可以重用现有的条件规则来定义您的定向,但实验会存储每个规则的独立 副本。稍后编辑或删除原始配置条件不会影响实验的定向。

由于缩小受众会减少样本大小,Roblox 会使用符合您定向标准的受众估计来更新 最小可检测效应 (MDE)。确保您的目标受众足够大,以产生统计上有意义的结果。

Roblox 如何解析定向值

Roblox 首先 评估实验,然后再评估标准条件配置的任何规则。当配置键有一个活动实验时,Roblox 按以下顺序解析值:

  1. 活动实验值,如果玩家被定向并已注册。
  2. 第一个匹配的配置条件。
  3. 任何后续匹配的配置条件。
  4. 默认值。

控制组中的玩家接收现有配置规则产生的值。您不能在同一配置键上同时运行多个活动实验。

每会话评估

Roblox 每会话 评估定向属性,因此单个玩家的资格可能会随时间变化:

  • 如果玩家在会话期间符合您的定向标准,他们可以被注册并接收实验变体。
  • 如果他们在后续会话中不再符合条件,他们将停止接收实验值,并立即回退到您的标准配置规则。如果您的实验需要超出资格的连续性——例如,针对新玩家的多会话入门流程——请自行持久化该值,例如在 数据存储 中。

玩家的数据仍然归属于他们注册的变体(或控制),即使他们后来不再符合条件。例如,D7 留存率仍然计算在第 0 天注册的玩家以及他们是否在第 7 天返回,即使他们在第 4 天不再符合条件。

实验运行时的配置更改

为了防止配置漂移和损坏实验数据,Roblox 在实验开始运行的那一刻 锁定配置键:

  • 您无法编辑或删除正在运行的配置键,也无法修改其标准条件值。
  • 活动配置引用的任何全局条件也被锁定。您无法编辑、删除或重新排序它们。

锁定在实验完成时释放。

将实验添加到您的代码

应用游戏内实验类似于 应用配置。主要区别在于使用 ConfigService:GetConfigForPlayerAsync() 而不是 ConfigService:GetConfigAsync()。

GetConfigForPlayerAsync() 检索特定玩家的快照。当您调用 GetValue() 时,快照会检查是否有活动实验,并根据推出百分比注册(或不注册)用户。

local ConfigService = game:GetService("ConfigService")
local Players = game:GetService("Players")
local function onPlayerAdded(player)
local playerConfig = ConfigService:GetConfigForPlayerAsync(player)
local leaderboardColor = playerConfig:GetValue("leaderboardColor")
end
Players.PlayerAdded:Connect(onPlayerAdded)
  • 您必须为每个玩家单独调用 GetConfigForPlayerAsync();GetConfigAsync() 不适用于实验。

  • 在对玩家特定快照调用 GetValue() 后,与快照关联的玩家在该键及该键上注册了实验。所有后续对该方法的调用在实验期间返回相同的控制或变体。只有第一次调用是随机的。

  • 实验中的注册不限于新用户。即使用户之前从 GetConfigAsync() 收到过值,您仍然可以使用来自 GetConfigForPlayerAsync() 的玩家特定快照将他们注册到实验中。

  • 如果玩家特定快照中的键没有活动实验,GetValue() 将返回标准配置值(如果没有值则返回 nil)。

自定义注册

如果您只想注册满足基于游戏状态的条件的玩家,则必须编写额外的代码来检查这些条件,然后再调用 GetValue() 将他们注册到实验中。考虑以下示例:

  • 您想在赛车游戏中测试一个新的控制方案。
  • 该方案适用于高级玩家,因此您希望定向赢得大量比赛的玩家。

您的代码可能如下所示:

local function getControlScheme(player, racesWon)
if racesWon < 20 then
return "standardScheme"
else
-- 玩家赢得了很多比赛,注册到实验中
local playerConfigSnapshot = ConfigService:GetConfigForPlayerAsync(player)
if playerConfigSnapshot:GetValue("useNewControlScheme") then
return "newScheme"
else
return "standardScheme"
end
end
end

如果您希望控制方案在后续会话中持续存在,您可能需要在数据存储中为玩家的条目添加一个值。

查看和解释结果

点击 查看 以查看详细信息和结果。在 详细信息和进度 选项卡中,您可以看到注册的玩家总数,以及接收控制值和每个变体的玩家数量。尽早查看此页面对于确保实验正常运行非常有用,而不是采取行动。在采取行动之前,请参见 最佳实践。

实验的详细信息页面

早期损害指标

在前 24 小时内,或直到第一次每日结果到达,早期损害 指标 每 5 分钟更新一次,以便您可以尽早捕捉到意外的关键损害。点击 指标 以查看这些结果。查找以红色突出显示的关键损害指标。

将鼠标悬停在指标上并点击 查看置信度 以查看置信区间。

实验的早期损害结果

在此窗口中,结果仅测试损害,因此置信区间没有下限,只有上限。只有当整个置信区间低于关键损害阈值时,指标才会被标记为关键有害。在以下示例中,游戏时间为 -12.67%,上限为 -2.73%。尽管估计值低于关键损害阈值 -10%,并且整个置信区间低于 0%,但该指标并未被归类为关键有害,因为该区间并不完全低于损害阈值。

早期损害指标的置信区间

仅将这些结果用于指导前 24 小时的早期停止决策。不要将其用于启动决策,而是依赖于 每日结果。

早期损害阈值

每个指标都有其自己的早期损害阈值。如果变体的提升低于此阈值,则将被归类为对该指标的关键损害。然而,对于在变体和控制之间注册的玩家少于 10,000 的指标变体比较,变体提升会显示,但在样本大小提供足够的数据以可靠地检测损害之前,不会做出损害决策。

指标早期损害阈值
游戏时间-10%
ARPU-20%
付费转化率-20%

早期损害通知

如果在早期损害分析期间检测到实验中的关键损害,通知将发送给游戏所有者和实验所有者以便采取早期行动。通知通过电子邮件、Creator Hub 通知托盘和可选的 网络钩子 发送。收到早期损害通知后,您应审查实验指标并决定是否应提前停止实验。

早期损害 Creator Hub 通知

每日结果

在实验运行至少 24 小时后,点击 结果 以查看最新结果,这些结果每 24 小时更新一次。查找目标指标的统计显著性变化,仪表板会以绿色或红色突出显示。这些变化更可能显示变体的影响,而不太可能是假阳性或假阴性。

实验的详细信息页面

当某个指标的百分比变化的置信区间不与 0% 重叠时,该指标被认为是统计显著的。在以下示例中,ARPU 上升 2.37%,下限和上限分别为 0.55% 和 4.19%,这使得该变化在统计上显著。

指标的置信区间

为了方便,结果页面允许您用实验中的变体替换默认配置值。

样本比例不匹配

如果您的实验未能按预期比例将用户注册到变体中,实验结果选项卡中将出现 样本比例不匹配 (SRM) 的警报横幅。如果检测到 SRM,建议停止并重新启动实验。

SRM 在实验的前 24 小时内每 5 分钟检查一次,然后每天检查一次。SRM 可能会使实验结果无效;请勿根据受损和不可靠的结果做出启动决策。

样本比例不匹配横幅

做出决策

当实验结束时,点击 做出决策 以开始引导推出。Roblox 会显示有关统计显著性和实验持续时间的任何警告,然后提示您选择获胜变体或保留控制。根据您的选择,Roblox 会将适当的更改推出到您的永久配置中;返回 配置 页面会显示新值。如果您改变主意,请点击 更改获胜者。

如果在完成实验时您的配置上有未解决的分阶段更改,Roblox 会暂时将其存储,并在推出后尽力恢复。

您的决策决定了 Roblox 提出的配置更改:

  • 控制:Roblox 不会对您现有的配置进行任何更改。
  • 未定向变体:变体值成为配置的新默认值。Roblox 会删除该配置键上的所有其他条件,但它们仍保留在您的全局条件列表中。
  • 定向变体:Roblox 会将获胜规则集成回您的永久配置中,使用此优先顺序中的第一个适用选项:
    1. 覆盖:如果相同的条件已经位于配置的顶部,Roblox 会用获胜变体的值覆盖其值。
    2. 添加现有:如果存在匹配的全局条件,并且自然会位于顶部,Roblox 会将其添加到配置中,并使用变体的值。
    3. 提升:如果匹配的全局条件可以安全提升到所需的最低等级,使其成为该配置中的顶级规则(而不更改其他配置),Roblox 会将其添加到配置中并在全局重新排序。
    4. 创建新:否则,Roblox 会创建一个新的全局条件,排名高于当前配置中使用的最高条件。如果这在配置内部创建了重复规则,Roblox 会在保留全局规则的同时删除冗余的条件值。

实验的最佳实践

  • 使用最小可检测效应 (MDE) 来决定您的实验是否值得运行。

    Roblox 使用您的目标指标和每个变体的玩家数量计算 MDE,这基于每日活跃用户、推出百分比、实验持续时间和变体分配。如果 MDE 对于您的目标指标过高(例如,超过 100%),则不太可能达到统计显著性。每日活跃用户少于 1,000 的游戏可能难以从实验中获得有用的数据。

    创建期间的 MDE 不足屏幕。

  • 从假设开始。 与其仅仅更改变量并检查结果,不如写下关于您更改的因果关系声明,您期望发生的事情以及原因。随着您进行越来越多的实验,拥有一组书面假设来伴随您的结果可以帮助您澄清思路并激发新的实验想法。

  • 让实验运行其完整的持续时间。 新奇效应(对更改的临时兴趣,而不是因为它更好)可能会严重扭曲早期结果,有时导致它们在统计显著性之间波动。提前结束实验会增加您根据异常峰值采取过早行动的可能性,而更多数据会平滑或甚至反驳这些峰值。

    • 例外情况是 早期损害 在前 24 小时内:如果指标被标记为关键有害或您看到 样本比例不匹配,请审查并考虑停止。不要将早期损害结果用于启动决策。
  • 在没有统计显著性的情况下不要采取行动。 即使玩家行为的变化看似很大,也可能没有统计显著性,通常是由于样本大小小。如果更改没有统计显著性,请忽略它。

  • 避免在实验期间进行更改。当然,重大错误需要修复,但游戏内容的更改可能会影响玩家行为并使您的结果无效,即使这些更改 看似 与您的实验无关。同样,只有在您确信它们不会相互影响的情况下,才同时运行实验。

  • 使用置信区间深入分析 指标并检查统计显著性的边界情况。如果置信区间太宽,指标可能永远无法达到统计显著性。

  • 如果一个指标显著上升而另一个显著下降,您必须 决定权衡是否值得,可能与其他统计显著的变化结合考虑。

  • 实验提供强信号,但 统计显著性处理的是概率,而不是确定性——因此有置信区间。数据变异性、样本大小和变化幅度都会影响检测变体是否影响玩家行为的概率。您根据实验结果采取的任何行动都应与定性数据(如玩家反馈和您对游戏的整体愿景)相平衡。

  • 记录您的发现和决策。 即使您不使用它们来进行额外的实验,拥有一套知识和证据可以为您设计游戏提供信息。

©2026 Roblox Corporation、Roblox、Roblox 标志及 Powering Imagination 是我们在美国及其他国家或地区的注册与未注册商标。