실험을 통해 게임 내 및 매치메이킹 A/B 테스트를 실행하여 게임 변경의 인과적 영향을 측정할 수 있습니다. 예를 들어, 서로 다른 온보딩 경험을 서로 다른 플레이어에게 보여주고 플레이 시간, 유지율 및 기타 주요 성과 지표의 차이를 측정할 수 있습니다.
실험은 다음을 측정하는 데 탁월합니다:
- 참여도 - 온보딩 흐름, 진행 시스템, 제어 방식, 맞춤형 매치메이킹
- 수익화 - 상점 가시성 및 사용자 경험, 스타터 팩 유형, 가격 책정

실험 생성
실험은 두 가지 유형이 있습니다:
- 게임 내 실험은 서로 다른 구성 값의 영향을 측정할 수 있습니다.
- 매치메이킹 실험은 서로 다른 맞춤형 매치메이킹 구성의 영향을 측정할 수 있습니다. 게임 내 실험과 달리, 한 번에 하나의 매치메이킹 실험만 실행할 수 있습니다.
구성이 없는 경우, 게임을 위한 구성을 생성합니다.
Creator Hub 실험 페이지에서 실험 생성을 클릭합니다.
유형에서 게임 내를 선택합니다.
실험의 이름을 지정합니다.
실험의 목표 지표와 계획된 기간을 지정합니다. 실험은 14일에서 60일 사이에 실행됩니다.
목표 지표로 무엇을 선택하든 관계없이, 실험은 측정 세트의 모든 지표를 추적합니다. 보상 비디오 수익 측정 세트를 선택하면 Roblox가 목표 지표를 설정하므로 기간만 지정하면 됩니다.
비율 롤아웃을 선택합니다. 이 숫자는 실험에 포함할 플레이어의 비율입니다.
일반적으로 실험에 포함하는 사람이 많을수록 데이터가 더 좋지만, 게임에 가장 적합한 것을 판단해야 합니다.
변형 및 비율을 지정합니다.
변형은 구성의 대체 값입니다. 제어 값이 500인 숫자 구성 키 bossHealth의 경우, 300의 변형을 지정할 수 있습니다. 실험에서 최대 두 개의 변형과 하나의 제어를 가질 수 있습니다.
비율은 실험 롤아웃 내에서 변형을 할당하는 방법을 결정합니다. 다음 예를 고려해 보세요:
- 전체 롤아웃을 40%로 선택합니다.
- 두 개의 변형과 제어 간의 50/50 분할을 지정합니다.
이 예에서 60%의 사용자가 실험에서 제외됩니다. 이 사용자들은 제어를 받고 실험 결과에 영향을 미치지 않습니다. 약 20%의 사용자가 실험의 일환으로 제어를 받습니다. 또 다른 20%는 변형을 받습니다. 플레이어 수에 따라 이 분포가 실행 가능한 결과를 도출하기에 충분하지 않을 수 있습니다.

(선택 사항) 특정 청중을 대상으로 실험을 설정하여 일치하는 플레이어만 등록할 수 있도록 합니다. 타겟팅은 조건부 구성과 동일한 플레이어 속성을 사용하며, 기존 조건을 구성에서 직접 복사할 수 있습니다. 자세한 내용은 특정 청중을 대상으로 실험 설정을 참조하세요.

마지막 단계는 일정 설정입니다. 실험을 즉시 시작하거나 나중의 날짜와 시간으로 예약할 수 있습니다. 실험을 예약한 후에는 구성(기간, 롤아웃 비율, 변형 등)을 변경할 수 없지만, 다시 예약할 수 있습니다.
지표
실험은 실험 기간 동안 다음 모든 지표를 추적합니다. 이 지표는 실험이 실행되는 동안 매 24시간마다 업데이트됩니다. 그러나 실험의 첫 24시간 동안은 플레이 시간, 지불자 전환율 및 ARPU가 매 5분마다 업데이트되어 중요한 회귀를 빠르게 포착할 수 있습니다 (조기 피해).
| 지표 | 설명 | 조기 피해? |
|---|---|---|
| D1 유지율 | 하루 후 게임에 돌아온 신규 플레이어의 비율. | 아니요 |
| D7 유지율 | 일주일 후 게임에 돌아온 신규 플레이어의 비율. | 아니요 |
| 플레이 시간 | 플레이어가 게임 내에서 보낸 평균 시간. 실험 기간 동안 누적됩니다. | 예 |
| ARPU | 사용자당 평균 수익. 수익을 플레이어 수로 나눈 값. 실험 기간 동안 누적됩니다. | 예 |
| ARPPU | 지불 사용자당 평균 수익. 게임 관련 아이템을 구매한 플레이어 수로 나눈 수익. 실험 기간 동안 누적됩니다. | 아니요 |
| 지불자 전환율 | 게임 관련 아이템을 구매한 플레이어의 비율. 실험 기간 동안 누적됩니다. | 예 |
| 세션 시간 | 플레이 시간 나누기 세션 수. 실험 기간 동안 누적됩니다. | 아니요 |
실험 상태
실험 페이지는 실험에 대한 다음 상태를 표시합니다.
| 상태 | 설명 |
|---|---|
| 완료 | 실험이 종료되었습니다. 이는 수동으로 중지하거나 결정을 내리거나 결정 날짜(게임 내의 경우 14일 후, 매치메이킹의 경우 즉시) 이후 자동으로 발생합니다. 세부정보와 결과를 여전히 검토할 수 있습니다. |
| 결정 필요 | 실험이 결정 날짜에 도달했습니다. 이제 결과를 검토할 좋은 시점입니다. |
| 실행 중 | 실험이 실행 중이지만 결정 날짜에 도달하지 않았습니다. |
| 예약됨 | 실험이 미래의 날짜에 시작되도록 예약되었습니다. |
| 초안 | 실험이 시작되거나 예약되지 않았습니다. 설정을 마칠 수 있습니다. |
사용자 정의 지표
기본적으로 실험은 플레이 시간, ARPU 및 D1 유지율과 같은 주요 지표를 추적합니다. 이러한 지표는 변경 사항이 전반적인 영향을 미쳤는지 여부를 알려주지만, 플레이어가 능력을 사용하거나 보스를 물리치거나 온보딩 흐름을 완료할 가능성이 더 높거나 낮은지와 같은 게임에서 변경된 사항의 세부 사항도 알고 싶을 수 있습니다.
사용자 정의 지표를 통해 게임 내 실험에 자신의 운영 지표를 추가할 수 있으며, 이는 이미 AnalyticsService로 기록한 사용자 정의 이벤트, 경제 이벤트 및 퍼널 이벤트에서 구축됩니다. 이를 사용하여:
- 평평한 결과를 설명합니다. D1 유지율은 변하지 않았지만 온보딩 퍼널 완료율이 8% 감소했습니다. 변경 사항을 롤아웃하지 않거나 다른 값을 테스트하고 싶을 수 있습니다.
- 어쨌든 롤아웃을 정당화합니다. ARPU는 평평하지만 지불자의 동전 잔고가 더 빨리 소진되고 있으며, 이는 시간이 지남에 따라 수익화를 개선해야 합니다.
- 핵심 루프에 대한 가설을 테스트합니다. 비디오 녹화에 더 많은 시간을 할애하면 더 많은 공유와 더 나은 유지율로 이어진다고 믿는 경우, 두 가지를 같은 실험에서 측정할 수 있습니다.
시작하기 전에
- 먼저 이벤트를 기록하세요. 사용자 정의 지표는 게임이 전송하는 이벤트에서 구축되므로, 이미 데이터가 있는 이벤트 이름, 통화 및 퍼널 중에서만 선택할 수 있습니다. 이를 설정하려면 사용자 정의 이벤트, 경제 이벤트 및 퍼널 이벤트를 참조하세요.
- 새 이벤트는 처리하는 데 시간이 걸립니다. 이벤트를 방금 추가한 경우, 대시보드에 나타나기까지 최대 24시간이 걸릴 수 있습니다.
실험에 사용자 정의 지표 추가
Creator Hub 실험 페이지에서 실험 생성을 클릭하고 유형과 이름을 평소처럼 입력합니다.
측정 세트에서 사용자 정의를 선택합니다.
사용자 정의 지표 섹션에서 추가를 클릭합니다. 이전 실험에서 생성한 지표를 재사용하려면 대신 이전 실험에서 추가를 클릭합니다.

소스를 선택합니다: 사용자 정의, 경제 또는 퍼널.
지표가 측정하는 내용을 선택합니다: 사용자 정의 이벤트 유형, 통화 또는 퍼널 및 완료 단계.
계산을 선택합니다. 자세한 내용은 계산 선택을 참조하세요.
(선택 사항) 지표에 포함될 이벤트를 좁히기 위해 필터를 추가합니다.
지표 이름을 확인합니다. Roblox는 선택 사항에서 이름을 생성하지만, 팀에서 인식할 수 있는 이름으로 편집하거나 언제든지 재설정할 수 있습니다.

저장을 클릭합니다. 최대 세 개의 사용자 정의 지표를 추가할 수 있습니다.
목표 지표에서 실험을 결정하는 지표를 선택합니다. 사용자 정의 지표는 플레이 시간 및 사용자당 평균 수익과 함께 이 목록에 표시됩니다. 목표 지표로 설정하지 않은 사용자 정의 지표는 학습 지표로 계속 추적됩니다.
실험 설정을 평소처럼 마무리합니다: 기간, 롤아웃 비율, 변형, 타겟팅 및 일정 설정.
계산 선택
모든 계산은 실험에 등록된 플레이어만 포함되며 실험 중에 기록된 이벤트만 포함됩니다. 대부분의 계산은 두 가지 플레이어 기반 분모 중 하나를 사용합니다:
- 모든 사용자당은 이벤트를 한 번도 트리거하지 않은 플레이어를 포함하여 실험 그룹에 등록된 모든 플레이어로 나눕니다. 이 분모를 사용하면 행동이 얼마나 자주 발생하는지와 얼마나 많은 플레이어가 행동을 하는지를 모두 반영할 수 있습니다.
- 참여자당은 이벤트를 최소 한 번 기록한 등록된 플레이어만 나눕니다. 이 분모를 사용하면 얼마나 많은 플레이어가 참여하는지와 관계없이 참여하는 플레이어 간의 강도를 측정할 수 있습니다.
예외는 인스턴스당 퍼널 전환으로, 이는 플레이어가 아닌 퍼널 인스턴스로 나눕니다.
사용자 정의 이벤트 지표
사용자 정의 이벤트 유형을 선택한 다음 다음 계산 중 하나를 선택합니다:
| 계산 | 측정하는 내용 |
|---|---|
| 평균 사용자 정의 값 | 이벤트의 총 값, 최소 한 번 기록한 등록된 플레이어 수로 나눈 값. |
| 모든 사용자당 평균 사용자 정의 값 | 이벤트의 총 값, 모든 등록된 플레이어로 나눈 값. |
| 참여율 | 최소 한 번 이벤트를 기록한 등록된 플레이어의 비율. |
예를 들어, 새로운 허브 수집 루프를 테스트한다고 가정해 보겠습니다. HerbsGathered 이벤트에서 모든 사용자당 평균 사용자 정의 값을 추가하여 변형이 전체 그룹에서 수집을 증가시키는지 확인하고, 동일한 이벤트에서 참여율을 추가하여 플레이어가 무시할 경우 얼마나 많은 플레이어를 유도하는지 확인할 수 있습니다.
경제 지표
통화를 선택한 다음 다음 계산 중 하나를 선택합니다:
| 계산 | 측정하는 내용 |
|---|---|
| 평균 순 통화 변화 | 총 출처에서 총 소모를 뺀 값, 최소 한 번 출처 또는 소모 이벤트를 기록한 등록된 플레이어 수로 나눈 값. |
| 평균 통화 출처 변화 | 출처 이벤트에서의 총 금액, 최소 한 번 출처 또는 소모 이벤트를 기록한 등록된 플레이어 수로 나눈 값. |
| 평균 통화 소모 변화 | 소모 이벤트에서의 총 금액, 최소 한 번 출처 또는 소모 이벤트를 기록한 등록된 플레이어 수로 나눈 값. |
특정 경제의 특정 부분에 대한 지출을 측정하려면 특정 거래 유형이나 아이템 SKU로 필터링합니다.
예를 들어, 새로운 시즌 패스를 테스트하여 진행 보상으로 동전을 제공한다고 가정해 보겠습니다. 이를 조정하여 최종 독점 보상을 제 시간에 받으려면 플레이어가 게임 플레이 부스트에 동전을 사용해야 합니다. 동전 통화에서:
- 평균 통화 소모 변화는 플레이어가 더 많이 지출하는지 여부를 알려줍니다.
- 평균 통화 출처 변화는 플레이어가 더 많이 벌고 있는지 여부를 알려줍니다.
- 평균 순 통화 변화는 추가 지출이 잔고가 증가하는 것을 막기에 충분한지 여부를 알려줍니다.
퍼널 지표
퍼널을 선택한 다음 완료 단계를 선택하고 다음 계산 중 하나를 선택합니다:
| 계산 | 측정하는 내용 |
|---|---|
| 사용자당 퍼널 전환 % | 완료 단계에 도달한 고유 플레이어 수를, 어떤 단계라도 기록한 고유 플레이어 수로 나눈 값. |
| 인스턴스당 퍼널 전환 % | 완료 단계에 도달한 고유 funnelSessionId 값을, 어떤 단계라도 기록한 모든 funnelSessionId 값으로 나눈 값. |
퍼널 지표에 대해 다음 사항을 염두에 두세요:
- 완료 단계를 선택해야 합니다. 실험이 시작된 후에는 이 단계를 변경할 수 없으므로 지표에 중요한 단계를 선택하세요.
- 반복 퍼널은 다른 질문에 답합니다. 사용자당 전환은 "몇 명의 플레이어가 최소 한 번 완료했는가"에 대한 답변을 제공하고, 인스턴스당 전환은 "시도가 얼마나 자주 성공하는가"에 대한 답변을 제공합니다. 이러한 지표는 반대 방향으로 움직일 수 있습니다.
예를 들어, 튜토리얼을 재작업했다고 가정해 보겠습니다. 최종 단계를 완료 단계로 설정하여 온보딩 퍼널에서 **사용자당 퍼널 전환 %**를 추가하고 이를 목표 지표로 만듭니다. 그런 다음 D1 유지율을 확인하여 더 나은 완료가 실제로 플레이어가 돌아오는지 확인합니다.
사용자 정의 지표 예시
| 변경 사항 | 알고 싶은 내용 | 추가할 지표 |
|---|---|---|
| 튜토리얼을 여덟 단계에서 다섯 단계로 단축 | 신규 플레이어가 튜토리얼을 더 많이 완료하는가? | 퍼널: 온보딩, 마지막 단계를 완료로 설정한 사용자당 전환 % |
| 메인 메뉴에 일일 퀘스트 버튼 추가 | 더 많은 플레이어가 일일 퀘스트를 시도하는가? | 사용자 정의: QuestStarted에서 참여율 % |
| 속도 부스트 가격을 100에서 50 동전으로 낮춤 | 플레이어가 상점에서 더 많은 동전을 지출하는가? | 경제: 동전, 평균 소모 변화, 속도 부스트 아이템 SKU로 필터링 |
| 일일 로그인 보상에서 동전을 두 배로 늘림 | 플레이어가 너무 많은 동전을 저장하고 있는가? | 경제: 동전, 평균 순 변화 (획득한 동전에서 지출한 동전 차감) |
사용자 정의 지표 결과 읽기
실험 지표는 누적되지만, 분석 대시보드는 일일입니다. 실험 지표는 전체 실험 기간을 합산하고, 분모가 플레이어일 경우 각 플레이어를 한 번만 계산합니다. 분석 페이지는 기본적으로 일일 뷰를 제공하므로, 동일한 기본 이벤트가 두 곳에서 다른 숫자를 생성합니다. 분석을 사용하여 이벤트를 탐색하고 올바르게 작동하는지 확인하고, 실험 결과를 사용하여 변형을 제어와 비교합니다.
사용자 정의 지표를 해석할 때 다음 사항을 염두에 두세요:
- 주요 지표 없이 움직이는 사용자 정의 지표는 정보이지 노이즈가 아닙니다. 이는 일반적으로 변화가 기계적으로 작동했지만 유지율이나 수익에 통계적으로 유의미한 영향을 미치지 않았거나, 앞으로도 미치지 않을 것임을 의미합니다.
- 방향이 항상 좋은 소식은 아닙니다. 승률의 하락은 기존 플레이어에게 더 많은 도전을 추가한 경우 원하는 결과일 수 있습니다. 실험이 시작되기 전에 어떤 방향이 승리로 간주되는지 결정하세요.
- 통계적 유의미성은 여전히 적용됩니다. 사용자 정의 지표는 다른 지표와 동일한 샘플 크기 제약을 받습니다. 변화가 통계적으로 유의미하지 않다면, 그에 따라 행동하지 마세요.
- 하나의 지표에 과도하게 강조하지 마세요. 목표 지표가 상승했지만 학습 지표가 크게 하락했다면, 명확한 승리가 아닌 무역 오프를 고려해야 합니다.
보상 비디오 지표
보상 비디오 광고는 Robux를 지출하지 않는 플레이어를 포함하여 게임에서 더 많은 수익을 올리는 데 도움이 될 수 있습니다. 그러나 보상 비디오 광고의 배치를 게임과 경제에 맞게 조정해야 합니다. 광고를 배치하는 위치와 플레이어에게 보상하는 아이템 모두 광고 수익 및 참여도에 영향을 미칩니다.
보상 비디오 수익 측정 세트는 광고 성과를 기본 참여도, 유지율 및 수익화 지표와 함께 추적하므로 광고 실행이 게임의 나머지 부분에 해를 끼치지 않도록 할 수 있습니다. 이를 사용하여:
- 보상 광고 조정. 더 큰 보상이나 다른 배치를 테스트하고, 옵트인 비율과 빈도가 증가하는지 확인합니다.
- 무역 오프 확인. 광고 수익이 증가하면 플레이 시간, 유지율 또는 지불자 전환이 감소하는지 확인합니다. 사용자당 총 수익은 광고와 마이크로 거래의 결합 효과를 보여줍니다.
- 지불하지 않는 플레이어에게 도달. 광고 옵션이 구매를 하지 않은 플레이어로부터 수익을 가져오는지 테스트하되, 지불자가 지출하는 금액을 낮추지 않도록 합니다.
보상 비디오 수익 실험 설정
보상 비디오 실험은 게임 내 실험이므로 다른 게임 내 실험과 동일하게 작동합니다. 광고 기능(예: 보상 크기 또는 광고 빈도)을 구성으로 제어하며, 각 변형은 다른 구성 값을 가지며, 코드는 ConfigService:GetConfigForPlayerAsync()로 값을 읽습니다. 자세한 내용은 코드에 실험 추가를 참조하세요.
테스트하려는 보상 비디오 광고에 대한 구성이 없는 경우, 하나를 생성합니다. 예를 들어, 현재 쿨다운 시간을 제어 값으로 하는 숫자 구성 키 adCooldownSeconds를 생성합니다.
Creator Hub 실험 페이지에서 실험 생성을 클릭합니다.
유형에서 게임 내를 선택합니다.
측정 세트에서 보상 비디오 수익을 선택합니다. Roblox는 사용자당 노출 수 및 사용자당 총 수익을 목표 지표로 설정하므로, 하나를 선택할 필요가 없습니다.

실험 설정을 평소처럼 마무리합니다: 기간, 롤아웃 비율, 변형, 타겟팅 및 일정 설정.
보상 비디오 수익 지표
보상 비디오 수익 측정 세트는 다음 광고 지표를 추적하며, 기본 지표 선택과 함께 광고가 참여도, 유지율 또는 수익화에 해를 끼치지 않는지 확인할 수 있습니다.
| 지표 | 설명 |
|---|---|
| 사용자당 총 수익 | 보상 비디오 광고 및 마이크로 거래(개발자 제품, 패스, 개인 서버 및 유료 접근)에서 플레이어당 수익. 실험 기간 동안 누적됩니다. |
| 사용자당 노출 수 | 플레이어당 광고 노출 수. 실험 기간 동안 누적됩니다. |
| 옵트인 비율 | 최소 한 개의 광고를 시청한 적격 플레이어의 비율. |
| 빈도 | 광고 노출 수를 고유 시청자로 나눈 값. |
| 사용자당 광고 수익 | 보상 비디오 광고에서 플레이어당 수익. 실험 기간 동안 누적됩니다. |
특정 청중을 대상으로 실험 설정
기본적으로 게임 내 실험은 롤아웃 비율에 따라 모든 플레이어를 등록할 수 있습니다. 타겟팅을 통해 특정 청중(예: 특정 국가의 플레이어, 특정 재직 기간, 활성 지출자 계층)에서 실험을 실행할 수 있습니다. 타겟팅은 구성 타겟팅과 동일한 속성을 사용합니다.
타겟팅된 실험 설정
타겟팅 기준은 실험 생성 시 구성합니다. 실험이 시작된 후에는 타겟팅 규칙, 제어 값, 변형 또는 구성 키가 사용하는 조건부 규칙을 변경할 수 없습니다.
기존 조건부 규칙을 재사용하여 타겟팅을 정의할 수 있지만, 실험은 각 규칙의 독립적인 복사본을 저장합니다. 나중에 원래 구성 조건을 편집하거나 삭제해도 실험의 타겟팅에는 영향을 미치지 않습니다.
청중을 좁히면 샘플 크기가 줄어들기 때문에 Roblox는 타겟팅 기준에 맞는 청중의 추정치를 사용하여 최소 감지 효과(MDE)를 업데이트합니다. 타겟팅된 청중이 통계적으로 의미 있는 결과를 생성할 수 있을 만큼 충분히 큰지 확인하세요.
Roblox가 타겟팅된 값을 해결하는 방법
Roblox는 실험을 먼저 평가하며, 표준 조건부 구성의 규칙은 그 다음에 평가합니다. 구성 키에 활성 실험이 있는 경우, Roblox는 다음 순서로 값을 해결합니다:
- 플레이어가 타겟팅되고 등록된 경우 활성 실험 값.
- 첫 번째 일치하는 구성 조건.
- 이후의 모든 일치하는 구성 조건.
- 기본값.
제어 그룹의 플레이어는 기존 구성 규칙에서 생성된 값을 받습니다. 동일한 구성 키에서 두 개 이상의 활성 실험을 동시에 실행할 수 없습니다.
세션별 평가
Roblox는 타겟팅 속성을 세션별로 평가하므로, 개별 플레이어의 적격성이 시간이 지남에 따라 변경될 수 있습니다:
- 플레이어가 세션 중에 타겟팅 기준에 맞으면 등록되어 실험 변형을 받을 수 있습니다.
- 나중의 세션에서 더 이상 일치하지 않으면 실험 값을 받지 않게 되며 즉시 표준 구성 규칙으로 돌아갑니다. 실험이 적격성 이상의 연속성을 필요로 하는 경우(예: 신규 플레이어를 대상으로 하는 다중 세션 온보딩 흐름)에는 값을 직접 유지해야 합니다. 예를 들어 데이터 저장소에서 유지할 수 있습니다.
플레이어의 데이터는 등록된 변형(또는 제어)에 귀속되며, 나중에 기준에 맞지 않게 되더라도 유지됩니다. 예를 들어, D7 유지율은 0일에 등록된 플레이어가 7일에 돌아왔는지 여부를 여전히 계산합니다. 4일째에 더 이상 자격이 없더라도 말입니다.
실험 실행 중 구성 변경
구성 데이터 손상 및 실험 데이터 손상을 방지하기 위해 Roblox는 실험이 실행되기 시작하는 순간 구성 키를 잠급니다:
- 실행 중인 구성 키를 편집하거나 삭제할 수 없으며, 표준 조건부 값을 수정할 수 없습니다.
- 활성 구성에서 참조하는 모든 전역 조건도 잠깁니다. 이를 편집, 삭제 또는 서로 상대적으로 재정렬할 수 없습니다.
잠금은 실험이 완료될 때 해제됩니다.
코드에 실험 추가
게임 내 실험을 적용하는 것은 구성 적용과 유사합니다. 주요 차이점은 ConfigService:GetConfigForPlayerAsync()를 사용한다는 점입니다.
GetConfigForPlayerAsync()는 플레이어별 스냅샷을 검색합니다. GetValue()를 호출하면 스냅샷이 활성 실험을 확인하고 롤아웃 비율에 따라 사용자를 등록(또는 등록하지 않음)합니다.
local ConfigService = game:GetService("ConfigService")
local Players = game:GetService("Players")
local function onPlayerAdded(player)
local playerConfig = ConfigService:GetConfigForPlayerAsync(player)
local leaderboardColor = playerConfig:GetValue("leaderboardColor")
end
Players.PlayerAdded:Connect(onPlayerAdded)각 플레이어에 대해 GetConfigForPlayerAsync()를 별도로 호출해야 합니다. GetConfigAsync()는 실험을 적용하지 않습니다.
플레이어별 스냅샷에서 GetValue()를 호출한 후, 스냅샷과 연결된 플레이어는 해당 키 및 해당 키에 대해서만 실험에 등록됩니다. 이후의 모든 호출은 실험 기간 동안 동일한 제어 또는 변형을 반환합니다. 첫 번째 호출만 무작위입니다.
실험 등록은 신규 사용자로 제한되지 않습니다. 사용자가 이전에 GetConfigAsync()에서 값을 받았다 하더라도, GetConfigForPlayerAsync()의 플레이어별 스냅샷을 사용하여 여전히 실험에 등록할 수 있습니다.
플레이어별 스냅샷의 키에 활성 실험이 없는 경우, GetValue()는 표준 구성 값을 반환합니다(값이 없으면 nil).
사용자 정의 등록
게임 내 상태를 기반으로 기준을 충족하는 플레이어만 등록하려면, 해당 기준을 확인하고 그 후에만 GetValue()를 호출하여 실험에 등록해야 합니다. 다음 예를 고려해 보세요:
- 레이싱 게임에서 새로운 제어 방식을 테스트하고 싶습니다.
- 이 방식은 고급 플레이어를 위한 것이므로, 많은 수의 경주에서 승리한 플레이어를 타겟팅하고 싶습니다.
코드는 다음과 비슷할 수 있습니다:
local function getControlScheme(player, racesWon)
if racesWon < 20 then
return "standardScheme"
else
-- 플레이어가 많은 승리를 거두었으므로 실험에 등록
local playerConfigSnapshot = ConfigService:GetConfigForPlayerAsync(player)
if playerConfigSnapshot:GetValue("useNewControlScheme") then
return "newScheme"
else
return "standardScheme"
end
end
end제어 방식이 이후 세션에서도 지속되도록 하려면, 플레이어의 데이터 저장소 항목에 값을 추가해야 할 수 있습니다.
결과 보기 및 해석
보기를 클릭하여 세부정보 및 결과를 확인합니다. 세부정보 및 진행 탭에서 등록된 총 플레이어 수와 제어 값 및 각 변형을 받은 플레이어 수를 확인할 수 있습니다. 실험 초기에 이 페이지를 보는 것은 실험이 제대로 실행되고 있는지 확인하는 데 유용하지만, 조치를 취하기 위해서는 유용하지 않습니다. 조치를 취하기 전에 모범 사례를 참조하세요.

조기 피해 지표
첫 24시간 동안 또는 첫 번째 일일 결과가 도착할 때까지 조기 피해 지표는 매 5분마다 업데이트되어 의도하지 않은 심각한 피해를 조기에 포착할 수 있습니다. 지표를 클릭하여 이러한 결과를 확인하세요. 빨간색으로 강조된 심각한 피해 지표를 찾으세요.
지표 위에 마우스를 올리고 신뢰도 보기를 클릭하여 신뢰 구간을 확인합니다.

이 기간 동안 결과는 피해만 테스트하므로 신뢰 구간에는 하한이 없고 상한만 있습니다. 지표가 심각한 피해로 표시되려면 전체 신뢰 구간이 심각한 피해 임계값 아래에 있어야 합니다. 다음 예에서 플레이 시간은 -12.67%이고 상한은 -2.73%입니다. 추정치가 -10%의 심각한 피해 임계값보다 낮고 전체 신뢰 구간이 0% 아래에 있지만, 신뢰 구간이 피해 임계값 아래에 완전히 있지 않기 때문에 이 지표는 심각한 피해로 분류되지 않습니다.

이 결과는 첫 24시간 동안 조기 중지 결정을 안내하는 데만 사용하세요. 출시 결정에는 사용하지 마세요. 대신 일일 결과를 참조하세요.
조기 피해 임계값
각 지표에는 고유한 조기 피해 임계값이 있습니다. 변형의 상승이 이 임계값 아래로 떨어지면 해당 지표에 대해 심각한 피해로 분류됩니다. 그러나 변형과 제어 간의 지표 비교에서 등록된 플레이어 수가 10,000명 미만인 경우, 변형 상승이 표시되지만 피해에 대한 결정은 샘플 크기가 신뢰할 수 있는 피해를 감지할 수 있을 만큼 충분한 데이터를 제공할 때까지 이루어지지 않습니다.
| 지표 | 조기 피해 임계값 |
|---|---|
| 플레이 시간 | -10% |
| ARPU | -20% |
| 지불자 전환율 | -20% |
조기 피해 알림
실험 중 조기 피해 분석 기간 동안 심각한 피해가 감지되면, 게임 소유자와 실험 소유자에게 조기 조치를 위한 알림이 전달됩니다. 알림은 이메일, Creator Hub 알림 트레이 및 선택적 웹후크를 통해 전달됩니다. 조기 피해 알림을 받으면 실험 지표를 검토하고 실험을 조기에 중지해야 할지 여부를 결정해야 합니다.

일일 결과
실험이 최소 24시간 동안 실행된 후, 결과를 클릭하여 최신 결과를 확인합니다. 이 결과는 매 24시간마다 업데이트됩니다. 목표 지표에서 통계적으로 유의미한 변화를 찾으세요. 대시보드는 이를 초록색 또는 빨간색으로 강조 표시합니다. 이러한 변화는 변형의 영향을 보여줄 가능성이 더 높고, 잘못된 긍정 또는 부정일 가능성이 적습니다.

지표가 통계적으로 유의미할 때는 그 백분율 변화에 대한 신뢰 구간이 0%와 겹치지 않습니다. 다음 예에서 ARPU는 2.37% 증가했으며, 하한과 상한은 각각 0.55%와 4.19%로, 이 변화는 통계적으로 유의미합니다.

편의상 결과 페이지에서는 기본 구성 값을 실험의 변형 중 하나로 교체할 수 있습니다.
샘플 비율 불일치
실험이 예상 비율로 사용자들을 변형에 등록하지 못하는 경우, 실험 결과 탭에 **샘플 비율 불일치(SRM)**에 대한 경고 배너가 나타납니다. SRM이 감지되면 실험을 중지하고 다시 시작하는 것이 좋습니다.
SRM은 실험의 첫 24시간 동안 매 5분마다 확인되며, 이후에는 매일 확인됩니다. SRM은 실험 결과를 무효화할 수 있으므로, 손상되고 신뢰할 수 없는 결과를 기반으로 출시 결정을 내리지 마세요.

결정 내리기
실험이 종료되면 결정 내리기를 클릭하여 안내된 롤아웃을 시작합니다. Roblox는 통계적 유의미성과 실험 기간에 대한 경고를 표시한 후, 승리 변형을 선택하거나 제어를 유지하도록 요청합니다. 선택에 따라 Roblox는 영구 구성에 적절한 변경 사항을 롤아웃합니다. 구성 페이지로 돌아가면 새로운 값을 확인할 수 있습니다. 마음이 바뀌면 승자 변경을 클릭하세요.
구성을 완료할 때 미해결 단계 변경 사항이 있는 경우, Roblox는 이를 임시로 보관하고 롤아웃 후 최선의 노력으로 복원합니다.
당신의 결정은 Roblox가 제안하는 구성 변경 사항을 결정합니다:
- 제어: Roblox는 기존 구성에 변경을 하지 않습니다.
- 비타겟 변형: 변형 값이 구성의 새로운 기본값이 됩니다. Roblox는 해당 구성 키에 대한 모든 다른 조건을 제거하지만, 전역 조건 목록에는 남아 있습니다.
- 타겟 변형: Roblox는 승리 규칙을 영구 구성에 통합하며, 이 우선 순위 순서에서 첫 번째 적용 가능한 옵션을 사용합니다:
- 덮어쓰기: 동일한 조건이 구성의 맨 위에 이미 있는 경우, Roblox는 해당 조건의 값을 승리 변형의 값으로 덮어씁니다.
- 기존 추가: 일치하는 전역 조건이 존재하고 자연스럽게 맨 위에 위치할 경우, Roblox는 변형의 값으로 구성에 추가합니다.
- 승격: 일치하는 전역 조건이 안전하게 가장 낮은 순위로 승격될 수 있는 경우(다른 구성에 영향을 주지 않고), Roblox는 이를 구성에 추가하고 전역적으로 재정렬합니다.
- 새로 만들기: 그렇지 않으면, Roblox는 현재 구성에서 사용되는 가장 높은 조건보다 한 단계 높은 순위의 새로운 전역 조건을 생성합니다. 이로 인해 구성 내에서 중복 규칙이 생성되면, Roblox는 전역 규칙을 유지하면서 중복 조건 값을 제거합니다.
실험을 위한 모범 사례
**최소 감지 효과(MDE)**를 사용하여 실험을 실행할 가치가 있는지 결정하세요.
Roblox는 목표 지표와 변형당 플레이어 수를 사용하여 MDE를 계산합니다. 이는 일일 활성 사용자, 롤아웃 비율, 실험 기간 및 변형 분할을 기반으로 합니다. 목표 지표에 대한 MDE가 너무 높으면(예: 100% 이상) 통계적 유의미성에 도달할 가능성이 낮습니다. 일일 활성 사용자가 1,000명 미만인 게임은 실험에서 유용한 데이터를 얻기 어려울 수 있습니다.

가설로 시작하세요. 변수를 변경하고 결과를 확인하는 대신, 변경한 내용, 예상되는 결과 및 그 이유에 대한 원인과 결과 문장을 작성하세요. 실험을 진행할수록, 결과에 동반할 서면 가설 세트를 갖는 것이 사고를 명확히 하고 새로운 실험 아이디어를 촉발하는 데 도움이 될 수 있습니다.
실험이 전체 기간 동안 실행되도록 하세요. 새로움 효과(변화가 더 나은 것이 아니라 단순히 새롭기 때문에 발생하는 일시적인 관심)는 초기 결과를 심하게 왜곡할 수 있으며, 때로는 통계적 유의미성을 오가게 만들 수 있습니다. 실험을 조기에 종료하면 비정상적인 급증에 기반하여 조치를 취할 확률이 높아지며, 더 많은 데이터가 이를 완화하거나 심지어 반박했을 것입니다.
통계적 유의미성이 없으면 행동하지 마세요. 플레이어 행동의 변화가 통계적으로 유의미하지 않을 수 있으며, 일반적으로 샘플 크기가 작기 때문입니다. 변화가 통계적으로 유의미하지 않다면 무시하세요.
실험 중에는 변경을 피하세요. 주요 버그는 물론 수정해야 하지만, 게임 콘텐츠의 변경은 플레이어 행동에 영향을 미치고 결과를 무효화할 수 있습니다. 변경이 관련이 없어 보이더라도 마찬가지입니다. 또한, 실험이 서로 상호작용하지 않을 것이라고 확신하지 않는 한 동시에 여러 실험을 실행하지 마세요.
신뢰 구간을 사용하여 지표를 깊이 분석하고 통계적 유의미성의 경계 사례를 확인하세요. 신뢰 구간이 너무 넓으면 지표가 통계적 유의미성에 도달하지 못할 수 있습니다.
하나의 지표가 크게 상승하고 다른 지표가 크게 하락하면, 무역 오프가 가치가 있는지 결정해야 합니다. 이는 통계적으로 유의미한 다른 움직임과 함께 고려해야 할 수 있습니다.
실험은 강력한 신호를 제공하지만, 통계적 유의미성은 확률이 아닌 확실성에 관한 것입니다—따라서 신뢰 구간이 있습니다. 데이터 변동성, 샘플 크기 및 변화의 크기 모두 플레이어 행동에 변형이 영향을 미쳤는지 감지할 확률에 영향을 미칩니다. 실험 결과를 기반으로 취하는 모든 조치는 플레이어 피드백 및 게임에 대한 전반적인 비전과 같은 정성적 데이터와 균형을 이루어야 합니다.
발견 및 결정을 문서화하세요. 추가 실험을 실행하는 데 사용하지 않더라도, 지식과 증거의 집합이 게임 디자인에 도움이 될 수 있습니다.
