การทดลอง

การทดลอง ช่วยให้คุณสามารถทำการทดสอบ A/B ในเกมและการจับคู่เพื่อวัดผลกระทบที่เกิดจากการเปลี่ยนแปลงในเกมของคุณ ตัวอย่างเช่น คุณสามารถแสดงประสบการณ์การเริ่มต้นที่แตกต่างกันให้กับผู้เล่นที่แตกต่างกันและวัดความแตกต่างในเวลาเล่น การรักษาผู้เล่น และตัวชี้วัดประสิทธิภาพหลักอื่นๆ

การทดลองเหมาะสำหรับการวัดผลดังต่อไปนี้:

• การมีส่วนร่วม - กระบวนการเริ่มต้น ระบบความก้าวหน้า แผนการควบคุม การจับคู่ที่กำหนดเอง
• การสร้างรายได้ - การมองเห็นร้านค้าและประสบการณ์ของผู้ใช้ ประเภทของแพ็คเริ่มต้น การตั้งราคา

สร้างการทดลอง

การทดลองมีสองประเภท:

• การทดลองในเกม ช่วยให้คุณวัดผลกระทบของค่าคอนฟิกต่างๆ config values
• การทดลองการจับคู่ ช่วยให้คุณวัดผลกระทบของการตั้งค่าการจับคู่ที่กำหนดเอง custom matchmaking configurations แตกต่างจากการทดลองในเกม คุณสามารถทำการทดลองการจับคู่ได้เพียงหนึ่งครั้งในเวลาเดียวกัน

1. หากคุณยังไม่มี config ให้สร้างหนึ่งสำหรับเกมของคุณ

2. บนหน้า Creator Hub การทดลอง สำหรับเกมของคุณ ให้คลิก สร้างการทดลอง

3. สำหรับ ประเภท ให้เลือก ในประสบการณ์

4. ระบุชื่อ ตัวชี้วัดเป้าหมาย และระยะเวลาที่วางแผนสำหรับการทดลอง การทดลองจะดำเนินการเป็นระยะเวลา 14-60 วัน

   ไม่ว่าคุณจะเลือกอะไรเป็นตัวชี้วัดเป้าหมาย การทดลองจะติดตามตัวชี้วัดทั้งหมด metrics ในรายการ

5. เลือกเปอร์เซ็นต์การเปิดตัว ตัวเลขนี้คือเปอร์เซ็นต์ของผู้เล่นที่คุณต้องการรวมไว้ในการทดลอง

   โดยทั่วไป ยิ่งคุณรวมผู้คนมากขึ้นในการทดลอง ข้อมูลก็จะยิ่งดีขึ้น แต่ให้ใช้การตัดสินใจของคุณเกี่ยวกับสิ่งที่ดีที่สุดสำหรับเกมของคุณ

   ให้ความสนใจกับ ผลกระทบที่ตรวจจับได้ขั้นต่ำ ซึ่งเป็นการเปลี่ยนแปลงที่เล็กที่สุดในตัวชี้วัดที่เลือกซึ่งการทดลองสามารถตรวจจับได้อย่างเชื่อถือได้

6. ระบุรูปแบบและเปอร์เซ็นต์

   รูปแบบคือค่าทางเลือกสำหรับคอนฟิกของคุณ สำหรับคีย์คอนฟิกเชิงตัวเลข bossHealth ที่มีค่าควบคุม 500 คุณอาจระบุรูปแบบ 300 คุณสามารถมีได้ถึง สองรูปแบบ และหนึ่งค่าควบคุมในการทดลอง

   เปอร์เซ็นต์กำหนดวิธีการกำหนดรูปแบบ ภายในการเปิดตัวการทดลอง พิจารณาตัวอย่างต่อไปนี้:

   • คุณเลือกการเปิดตัวโดยรวมที่ 40%
   • คุณระบุสองรูปแบบและการแบ่ง 50/50 ระหว่างพวกเขาและค่าควบคุม

   ในตัวอย่างนี้ 60% ของผู้ใช้ของคุณจะถูกตัดออกจากการทดลอง ผู้ใช้เหล่านี้จะได้รับค่าควบคุมและไม่มีผลกระทบต่อผลลัพธ์ของการทดลอง ประมาณ 20% ของผู้ใช้ของคุณจะได้รับค่าควบคุมเป็นส่วนหนึ่งของการทดลอง อีก 20% จะได้รับรูปแบบ ขึ้นอยู่กับจำนวนผู้เล่น การกระจายนี้อาจไม่ใหญ่พอที่จะให้ผลลัพธ์ที่สามารถดำเนินการได้

   เมื่อไม่แน่ใจ เราขอแนะนำให้ทำการทดลองง่ายๆ 50/50 ของรูปแบบหนึ่งและค่าควบคุมในการเปิดตัวขนาดใหญ่ การทดลองจะตั้งค่าได้ง่ายขึ้น และผลลัพธ์จะตีความได้ง่ายขึ้น

   

7. (ไม่บังคับ) กำหนดเป้าหมายการทดลองไปยังผู้ชมเฉพาะเพื่อให้ผู้เล่นที่ตรงตามเงื่อนไขเท่านั้นที่มีสิทธิ์เข้าร่วม การกำหนดเป้าหมายใช้คุณลักษณะ player attributes as conditional configs เดียวกัน และคุณสามารถคัดลอกเงื่อนไขที่มีอยู่โดยตรงจากคอนฟิกของคุณ สำหรับข้อมูลเพิ่มเติม โปรดดูที่ กำหนดเป้าหมายการทดลองไปยังผู้ชมเฉพาะ

   

8. ขั้นตอนสุดท้ายคือการกำหนดเวลา คุณสามารถเริ่มการทดลองได้ทันทีหรือกำหนดเวลาไว้ในวันที่และเวลาที่ภายหลัง หลังจากที่คุณกำหนดเวลาให้กับการทดลองแล้ว คุณไม่สามารถเปลี่ยนการตั้งค่า (ระยะเวลา เปอร์เซ็นต์การเปิดตัว รูปแบบ ฯลฯ) ได้ แต่คุณสามารถกำหนดเวลาใหม่ได้

ตัวชี้วัด

การทดลองติดตามตัวชี้วัดทั้งหมดต่อไปนี้ตลอดระยะเวลาการทดลอง ตัวชี้วัดเหล่านี้จะถูกอัปเดตทุก 24 ชั่วโมงในขณะที่การทดลองกำลังดำเนินการ อย่างไรก็ตาม ในช่วง 24 ชั่วโมงแรกของการทดลองของคุณ เวลาเล่น อัตราการแปลงผู้จ่าย และ ARPU จะถูกอัปเดตทุก 5 นาทีเพื่อให้คุณสามารถจับการถดถอยที่สำคัญได้อย่างรวดเร็ว (ความเสียหายเบื้องต้น)

สถานะการทดลอง

หน้า การทดลอง แสดงสถานะต่อไปนี้สำหรับการทดลอง

กำหนดเป้าหมายการทดลองไปยังผู้ชมเฉพาะ

ตามค่าเริ่มต้น การทดลองในเกมสามารถลงทะเบียนผู้เล่นใดๆ ในเปอร์เซ็นต์การเปิดตัวของคุณได้ การกำหนดเป้าหมาย ช่วยให้คุณสามารถทำการทดลองกับผู้ชมเฉพาะได้ เช่น ผู้เล่นในบางประเทศ ช่วงเวลาที่เฉพาะเจาะจง หรือระดับผู้ใช้ที่ใช้จ่ายอยู่ การกำหนดเป้าหมายใช้คุณลักษณะเดียวกันกับ การกำหนดเป้าหมายคอนฟิก

ตั้งค่าการทดลองที่กำหนดเป้าหมาย

คุณกำหนดเกณฑ์การกำหนดเป้าหมายเมื่อคุณ สร้างการทดลอง หลังจากการทดลองเริ่มต้นแล้ว คุณไม่สามารถเปลี่ยนกฎการกำหนดเป้าหมาย ค่าควบคุม รูปแบบ หรือกฎเงื่อนไขใดๆ ที่คีย์คอนฟิกใช้

คุณสามารถใช้กฎเงื่อนไขที่มีอยู่จากคอนฟิกของคุณเพื่อกำหนดการกำหนดเป้าหมาย แต่การทดลองจะเก็บ สำเนา ของแต่ละกฎอย่างอิสระ การแก้ไขหรือลบเงื่อนไขคอนฟิกต้นฉบับในภายหลังจะไม่มีผลต่อการกำหนดเป้าหมายของการทดลอง

เนื่องจากการจำกัดผู้ชมของคุณจะลดขนาดตัวอย่าง Roblox จะอัปเดต ผลกระทบที่ตรวจจับได้ขั้นต่ำ (MDE) โดยใช้การประมาณการของผู้ชมที่ตรงตามเกณฑ์การกำหนดเป้าหมายของคุณ ให้แน่ใจว่าผู้ชมที่คุณกำหนดเป้าหมายมีขนาดใหญ่พอที่จะผลิตผลลัพธ์ที่มีความหมายทางสถิติ

วิธีที่ Roblox แก้ไขค่าที่กำหนดเป้าหมาย

Roblox จะประเมินการทดลอง ก่อน กฎใดๆ จากคอนฟิกเงื่อนไขมาตรฐาน เมื่อคีย์คอนฟิกมีการทดลองที่ใช้งานอยู่ Roblox จะกำหนดค่าตามลำดับนี้:

1. ค่าการทดลองที่ใช้งานอยู่ หากผู้เล่นถูกกำหนดเป้าหมายและลงทะเบียน
2. เงื่อนไขคอนฟิกที่ตรงกันแรก
3. เงื่อนไขคอนฟิกที่ตรงกันถัดไป
4. ค่าดีฟอลต์

ผู้เล่นในกลุ่มควบคุมจะได้รับค่าที่กฎคอนฟิกที่มีอยู่ของคุณผลิตขึ้น คุณไม่สามารถทำการทดลองที่ใช้งานอยู่มากกว่าหนึ่งครั้งในคีย์คอนฟิกเดียวกันในเวลาเดียวกัน

การประเมินต่อเซสชัน

Roblox จะประเมินคุณลักษณะการกำหนดเป้าหมาย ต่อเซสชัน ดังนั้นความสามารถในการเข้าร่วมของผู้เล่นแต่ละคนอาจเปลี่ยนแปลงได้ตามเวลา:

• หากผู้เล่นตรงตามเกณฑ์การกำหนดเป้าหมายของคุณในระหว่างเซสชัน พวกเขาสามารถลงทะเบียนและรับรูปแบบการทดลอง
• หากพวกเขาไม่ตรงตามเกณฑ์ในเซสชันถัดไป พวกเขาจะหยุดรับค่าการทดลองและกลับไปใช้กฎคอนฟิกมาตรฐานของคุณทันที หากการทดลองของคุณต้องการความต่อเนื่องเกินกว่าความสามารถในการเข้าร่วม—เช่น กระบวนการเริ่มต้นหลายเซสชันที่มุ่งเป้าไปที่ผู้เล่นใหม่—ให้เก็บค่าด้วยตนเอง เช่น ใน data store

ข้อมูลของผู้เล่นจะยังคงถูกระบุว่าเป็นรูปแบบ (หรือควบคุม) ที่พวกเขาลงทะเบียน แม้ว่าพวกเขาจะหยุดตรงตามเกณฑ์ในภายหลัง ตัวอย่างเช่น การรักษา D7 ยังนับผู้เล่นที่ลงทะเบียนในวัน 0 และว่าพวกเขากลับมาในวัน 7 หรือไม่ แม้ว่าพวกเขาจะไม่ผ่านเกณฑ์ในวัน 4 ก็ตาม

การเปลี่ยนแปลงคอนฟิกในขณะที่การทดลองดำเนินการ

เพื่อป้องกันการเปลี่ยนแปลงการตั้งค่าและข้อมูลการทดลองที่เสียหาย Roblox ล็อคคีย์คอนฟิก ในขณะที่การทดลองเริ่มดำเนินการ:

• คุณไม่สามารถแก้ไขหรือลบคีย์คอนฟิกที่กำลังดำเนินการอยู่ได้ และไม่สามารถแก้ไขค่ามาตรฐานของมันได้
• เงื่อนไขทั่วโลกใดๆ ที่คอนฟิกที่ใช้งานอยู่อ้างอิงก็จะถูกล็อคเช่นกัน คุณไม่สามารถแก้ไข ลบ หรือจัดลำดับใหม่ได้

การล็อคจะถูกปล่อยเมื่อการทดลองเสร็จสิ้น

เพิ่มการทดลองในโค้ดของคุณ

การใช้การทดลองในเกมมีความคล้ายคลึงกับ การใช้คอนฟิก ความแตกต่างหลักคือการใช้ ConfigService:GetConfigForPlayerAsync() แทน ConfigService:GetConfigAsync()

GetConfigForPlayerAsync() จะดึงภาพรวมเฉพาะของผู้เล่น เมื่อคุณเรียก GetValue() ภาพรวมจะตรวจสอบการทดลองที่ใช้งานอยู่และลงทะเบียน (หรือลงทะเบียนไม่) ผู้ใช้ตามเปอร์เซ็นต์การเปิดตัว

local ConfigService = game:GetService("ConfigService")
local Players = game:GetService("Players")

local function onPlayerAdded(player)
    local playerConfig = ConfigService:GetConfigForPlayerAsync(player)
    local leaderboardColor = playerConfig:GetValue("leaderboardColor")
end

Players.PlayerAdded:Connect(onPlayerAdded)

• คุณต้องเรียก GetConfigForPlayerAsync() แยกกันสำหรับแต่ละผู้เล่น; GetConfigAsync() จะไม่ใช้การทดลอง

• หลังจากที่คุณเรียก GetValue() บนภาพรวมเฉพาะของผู้เล่น ผู้เล่นที่เกี่ยวข้องกับภาพรวมจะถูกลงทะเบียนในการทดลองสำหรับคีย์นั้นและคีย์นั้นเท่านั้น การเรียกใช้วิธีการในภายหลังจะส่งคืนค่าควบคุมเดียวกันหรือรูปแบบสำหรับระยะเวลาของการทดลอง การเรียกครั้งแรกเท่านั้นที่จะเป็นแบบสุ่ม

  รอเรียก GetValue() จนกว่าคุณจะต้องการมัน การเรียก GetValue() ก่อนเวลาที่เหมาะสมอาจทำให้คุณลงทะเบียนผู้เล่นที่ไม่เคยมีปฏิสัมพันธ์กับส่วนของเกมที่คุณกำลังทดลอง

• การลงทะเบียนในการทดลองไม่จำกัดเฉพาะผู้ใช้ใหม่ แม้ว่าผู้ใช้จะเคยได้รับค่าจาก GetConfigAsync() คุณยังสามารถลงทะเบียนพวกเขาในการทดลองโดยใช้ภาพรวมเฉพาะของผู้เล่นจาก GetConfigForPlayerAsync()

• หากคีย์ในภาพรวมเฉพาะของผู้เล่นไม่มีการทดลองที่ใช้งานอยู่ GetValue() จะส่งคืนค่าคอนฟิกมาตรฐาน (หรือนิลหากไม่มีค่า)

การลงทะเบียนแบบกำหนดเอง

หากคุณต้องการลงทะเบียนเฉพาะผู้เล่นที่ตรงตามเกณฑ์ตามสถานะในเกม คุณต้องเขียนโค้ดเพิ่มเติมเพื่อตรวจสอบเกณฑ์เหล่านั้นและเพียงแค่เรียก GetValue() เพื่อให้พวกเขาลงทะเบียนในการทดลอง พิจารณาตัวอย่างต่อไปนี้:

• คุณต้องการทดสอบแผนการควบคุมใหม่ในเกมแข่งรถของคุณ
• แผนการนี้สำหรับผู้เล่นที่มีความก้าวหน้า ดังนั้นคุณต้องการกำหนดเป้าหมายผู้เล่นที่ชนะการแข่งขันจำนวนมาก

โค้ดของคุณอาจมีลักษณะดังนี้:

local function getControlScheme(player, racesWon)
    if racesWon < 20 then
        return "standardScheme"
    else
        -- ผู้เล่นมีชัยชนะมาก ลงทะเบียนในทดลอง
        local playerConfigSnapshot = ConfigService:GetConfigForPlayerAsync(player)
        if playerConfigSnapshot:GetValue("useNewControlScheme") then
            return "newScheme"
        else
            return "standardScheme"
        end
    end
end

หากคุณต้องการให้แผนการควบคุมคงอยู่ในเซสชันถัดไป คุณอาจต้องเพิ่มค่าในรายการของผู้เล่นใน data store

ดูและตีความผลลัพธ์

คลิก ดู เพื่อดูรายละเอียดและผลลัพธ์ ในแท็บ รายละเอียดและความก้าวหน้า คุณสามารถดูจำนวนผู้เล่นทั้งหมดที่ลงทะเบียน รวมถึงจำนวนผู้เล่นที่ได้รับค่าควบคุมและแต่ละรูปแบบ การดูหน้านี้ในช่วงต้นของการทดลองมีประโยชน์เฉพาะเพื่อให้แน่ใจว่าการทดลองกำลังดำเนินการอย่างถูกต้อง ไม่ สำหรับการดำเนินการ ก่อนที่จะดำเนินการให้ดูที่ แนวทางปฏิบัติที่ดีที่สุด

ตัวชี้วัดความเสียหายเบื้องต้น

ในช่วง 24 ชั่วโมงแรก หรือจนกว่าผลลัพธ์รายวันแรกจะเข้ามา ตัวชี้วัดความเสียหายเบื้องต้น metrics จะถูกอัปเดตทุก 5 นาทีเพื่อให้คุณสามารถจับความเสียหายที่สำคัญที่ไม่ได้ตั้งใจได้อย่างรวดเร็ว คลิก ตัวชี้วัด เพื่อดูผลลัพธ์เหล่านี้ มองหาตัวชี้วัดที่มีความเสียหายอย่างรุนแรงที่เน้นด้วยสีแดง

วางเมาส์เหนือเมตริกและคลิก ดูความมั่นใจ เพื่อดูช่วงความมั่นใจ

ในช่วงเวลานี้ ผลลัพธ์จะทดสอบเฉพาะความเสียหาย ดังนั้นช่วงความมั่นใจจึงไม่มีขอบล่าง มีเพียงขอบบนเท่านั้น เมตริกจะถูกทำเครื่องหมายว่าเป็นความเสียหายอย่างรุนแรงก็ต่อเมื่อช่วงความมั่นใจทั้งหมดอยู่ต่ำกว่าขีดจำกัดความเสียหายที่สำคัญ ในตัวอย่างต่อไปนี้ เวลาเล่นอยู่ที่ -12.67% โดยมีขอบล่างและขอบบนที่ 0.55% และ 4.19% ซึ่งทำให้การเปลี่ยนแปลงมีความสำคัญทางสถิติ

ใช้ผลลัพธ์เหล่านี้เพียงเพื่อเป็นแนวทางในการตัดสินใจหยุดในช่วง 24 ชั่วโมงแรก อย่า ใช้สำหรับการตัดสินใจเปิดตัว ให้พึ่งพาผลลัพธ์ รายวัน แทน

ขีดจำกัดความเสียหายเบื้องต้น

แต่ละเมตริกมีขีดจำกัดความเสียหายเบื้องต้นของตนเอง หากการเพิ่มขึ้นของรูปแบบต่ำกว่าขีดจำกัดนี้ จะถูกจัดประเภทว่าเป็นความเสียหายอย่างรุนแรงต่อเมตริกนั้น อย่างไรก็ตาม สำหรับการเปรียบเทียบเมตริกรูปแบบที่มีผู้เล่นลงทะเบียนน้อยกว่า 10,000 คนในรูปแบบและค่าควบคุม การเพิ่มขึ้นของรูปแบบจะแสดง แต่การตัดสินใจเกี่ยวกับความเสียหายจะไม่ถูกทำจนกว่าขนาดตัวอย่างจะให้ข้อมูลเพียงพอในการตรวจจับความเสียหายอย่างเชื่อถือได้

การแจ้งเตือนความเสียหายเบื้องต้น

หากตรวจพบความเสียหายอย่างรุนแรงในการทดลองของคุณในช่วงระยะเวลาการวิเคราะห์ความเสียหายเบื้องต้น การแจ้งเตือนจะถูกส่งไปยังเจ้าของเกมและเจ้าของการทดลองเพื่อให้ดำเนินการในช่วงต้น การแจ้งเตือนจะถูกส่งผ่านทางอีเมล ถาดการแจ้งเตือนใน Creator Hub และผ่าน webhook ที่เลือกได้ เมื่อได้รับการแจ้งเตือนความเสียหายเบื้องต้น คุณควรตรวจสอบตัวชี้วัดการทดลองและตัดสินใจว่าควรหยุดการทดลองหรือไม่

ผลลัพธ์รายวัน

หลังจากการทดลองดำเนินการมาอย่างน้อย 24 ชั่วโมง คลิก ผลลัพธ์ เพื่อดูผลลัพธ์ล่าสุด ซึ่งจะอัปเดตทุก 24 ชั่วโมง มองหาการเปลี่ยนแปลงที่มีนัยสำคัญทางสถิติในตัวชี้วัดเป้าหมาย ซึ่งแดชบอร์ดจะเน้นด้วยสีเขียวหรือสีแดง การเปลี่ยนแปลงเหล่านี้มีแนวโน้มที่จะแสดงผลกระทบของรูปแบบของคุณและมีแนวโน้มที่จะไม่เป็นผลบวกหรือผลลบที่ผิดพลาด

เมตริกจะมีความสำคัญทางสถิติเมื่อช่วงความมั่นใจสำหรับการเปลี่ยนแปลงเปอร์เซ็นต์ของมันไม่ทับซ้อนกับ 0% ในตัวอย่างต่อไปนี้ ARPU เพิ่มขึ้น 2.37% โดยมีขอบล่างและขอบบนที่ 0.55% และ 4.19% ซึ่งทำให้การเปลี่ยนแปลงมีความสำคัญทางสถิติ

เพื่อความสะดวก หน้าผลลัพธ์ให้คุณแทนค่าคอนฟิกดีฟอลต์ด้วยหนึ่งในรูปแบบจากการทดลอง

ความไม่ตรงกันของอัตราตัวอย่าง

หากการทดลองของคุณไม่สามารถลงทะเบียนผู้ใช้ในรูปแบบที่คาดหวังได้ แบนเนอร์แจ้งเตือน ความไม่ตรงกันของอัตราตัวอย่าง (SRM) จะปรากฏในแท็บผลลัพธ์ของการทดลอง หากตรวจพบ SRM แนะนำให้หยุดและเริ่มการทดลองใหม่

SRM จะถูกตรวจสอบทุก 5 นาทีในช่วง 24 ชั่วโมงแรกของการทดลองของคุณ และจากนั้นจะตรวจสอบทุกวัน SRM อาจทำให้ผลลัพธ์ของการทดลองไม่ถูกต้อง อย่าตัดสินใจเปิดตัวโดยอิงจากผลลัพธ์ที่ถูกทำให้เสียหายและไม่น่าเชื่อถือ

ตัดสินใจ

เมื่อการทดลองของคุณสิ้นสุดลง คลิก ตัดสินใจ เพื่อเริ่มการเปิดตัวที่มีแนวทาง Roblox จะแสดงคำเตือนเกี่ยวกับความสำคัญทางสถิติและระยะเวลาของการทดลอง จากนั้นจะขอให้คุณเลือกค่ารูปแบบที่ชนะหรือเก็บค่าควบคุม ตามตัวเลือกของคุณ Roblox จะเปิดตัวการเปลี่ยนแปลงที่เหมาะสมไปยังคอนฟิกถาวรของคุณ; การกลับไปที่หน้า คอนฟิก จะแสดงค่าที่ใหม่ คลิก เปลี่ยนผู้ชนะ หากคุณเปลี่ยนใจ

หากคุณมีการเปลี่ยนแปลงที่รอดำเนินการในคอนฟิกเมื่อคุณเสร็จสิ้นการทดลอง Roblox จะเก็บรักษาไว้ชั่วคราวและคืนค่ากลับในลักษณะที่ดีที่สุดหลังจากการเปิดตัว

การตัดสินใจของคุณจะกำหนดการเปลี่ยนแปลงคอนฟิกที่ Roblox เสนอ:

• ควบคุม: Roblox จะไม่ทำการเปลี่ยนแปลงใดๆ กับคอนฟิกที่มีอยู่ของคุณ

• รูปแบบที่ไม่กำหนดเป้าหมาย: ค่ารูปแบบจะกลายเป็นค่าดีฟอลต์ใหม่ของคอนฟิก Roblox จะลบเงื่อนไขอื่นๆ ทั้งหมดในคีย์คอนฟิกนั้น แต่จะยังคงอยู่ในรายการเงื่อนไขทั่วโลกของคุณ

• รูปแบบที่กำหนดเป้าหมาย: Roblox จะรวมกฎที่ชนะกลับเข้าไปในคอนฟิกถาวรของคุณโดยใช้ตัวเลือกแรกที่ใช้ได้ในลำดับความสำคัญนี้:

  1. เขียนทับ: หากเงื่อนไขที่เหมือนกันอยู่ที่ด้านบนของคอนฟิก Roblox จะเขียนทับค่าของมันด้วยค่าของรูปแบบที่ชนะ
  2. เพิ่มที่มีอยู่: หากเงื่อนไขทั่วโลกที่ตรงกันมีอยู่และจะนั่งอยู่ที่ด้านบนตามธรรมชาติ Roblox จะเพิ่มมันลงในคอนฟิกด้วยค่าของรูปแบบ
  3. เลื่อนตำแหน่ง: หากเงื่อนไขทั่วโลกที่ตรงกันสามารถเลื่อนตำแหน่งได้อย่างปลอดภัยไปยังอันดับต่ำสุดที่จำเป็นเพื่อทำให้มันเป็นกฎสูงสุดในคอนฟิกนี้ (โดยไม่เปลี่ยนแปลงคอนฟิกอื่นๆ) Roblox จะเพิ่มมันลงในคอนฟิกและจัดลำดับใหม่ทั่วโลก
  4. สร้างใหม่: มิฉะนั้น Roblox จะสร้างเงื่อนไขทั่วโลกใหม่ที่มีอันดับสูงกว่าค่าที่สูงที่สุดที่ใช้ในคอนฟิกในปัจจุบัน หากสิ่งนี้สร้างกฎซ้ำในคอนฟิก Roblox จะลบค่าที่ซ้ำซ้อนในขณะที่รักษากฎทั่วโลกไว้

แนวทางปฏิบัติที่ดีที่สุดสำหรับการทดลอง

• ใช้ผลกระทบที่ตรวจจับได้ขั้นต่ำ (MDE) เพื่อช่วยในการตัดสินใจว่าการทดลองของคุณคุ้มค่าที่จะดำเนินการหรือไม่

  Roblox คำนวณ MDE โดยใช้ตัวชี้วัดเป้าหมายและจำนวนผู้เล่นต่อรูปแบบ ซึ่งขึ้นอยู่กับผู้ใช้ที่ใช้งานรายวัน เปอร์เซ็นต์การเปิดตัว ระยะเวลาการทดลอง และการแบ่งรูปแบบ หาก MDE สูงเกินไปสำหรับตัวชี้วัดเป้าหมายของคุณ (เช่น มากกว่า 100%) ก็ไม่น่าเป็นไปได้ที่คุณจะสามารถเข้าถึงความสำคัญทางสถิติ เกมที่มีผู้ใช้ที่ใช้งานรายวันน้อยกว่า 1,000 คนอาจประสบปัญหาในการรับข้อมูลที่มีประโยชน์จากการทดลอง

  

• เริ่มต้นด้วยสมมติฐาน แทนที่จะเปลี่ยนแปลงตัวแปรและตรวจสอบผลลัพธ์ ให้เขียนคำแถลงเกี่ยวกับสาเหตุและผลกระทบเกี่ยวกับสิ่งที่คุณเปลี่ยนแปลง สิ่งที่คุณคาดหวังว่าจะเกิดขึ้น และทำไม ขณะที่คุณทำการทดลองมากขึ้น การมีชุดสมมติฐานที่เขียนไว้เพื่อประกอบกับผลลัพธ์ของคุณสามารถช่วยชี้แจงความคิดของคุณและกระตุ้นแนวคิดใหม่ๆ สำหรับการทดลอง

• ให้การทดลองดำเนินการตามระยะเวลาที่เต็มที่ ผลกระทบจากความแปลกใหม่ (ความสนใจชั่วคราวในความเปลี่ยนแปลงไม่ใช่เพราะมันดีกว่า แต่เพราะมันใหม่) สามารถทำให้ผลลัพธ์ในช่วงต้นเบี่ยงเบนได้อย่างมาก บางครั้งทำให้ผลลัพธ์สวิงเข้าและออกจากความสำคัญทางสถิติ การสิ้นสุดการทดลองก่อนกำหนดจะเพิ่มโอกาสที่คุณจะดำเนินการก่อนเวลาอันควรตามการกระตุกที่ผิดปกติซึ่งข้อมูลเพิ่มเติมจะทำให้เรียบขึ้นหรือแม้กระทั่งขัดแย้งกัน

  • ข้อยกเว้นคือ ความเสียหายเบื้องต้น ในช่วง 24 ชั่วโมงแรก: หากตัวชี้วัดถูกทำเครื่องหมายว่าเป็นความเสียหายอย่างรุนแรงหรือคุณเห็น ความไม่ตรงกันของอัตราตัวอย่าง ให้ตรวจสอบและพิจารณาหยุด อย่า ใช้ผลลัพธ์ความเสียหายเบื้องต้นสำหรับการตัดสินใจเปิดตัว

• อย่าดำเนินการโดยไม่มีความสำคัญทางสถิติ แม้ว่าการเปลี่ยนแปลงที่ดูเหมือนจะมีขนาดใหญ่ในพฤติกรรมของผู้เล่นอาจไม่เป็นไปตามความสำคัญทางสถิติ โดยทั่วไปเนื่องจากขนาดตัวอย่างเล็ก หากการเปลี่ยนแปลงไม่เป็นไปตามความสำคัญทางสถิติ ให้ละเว้น

• หลีกเลี่ยงการเปลี่ยนแปลงในระหว่างการทดลอง แน่นอนว่าข้อบกพร่องใหญ่ต้องการการแก้ไข แต่การเปลี่ยนแปลงเนื้อหาในเกมสามารถส่งผลต่อพฤติกรรมของผู้เล่นและทำให้ผลลัพธ์ของคุณไม่ถูกต้อง แม้ว่าการเปลี่ยนแปลงจะ ดูเหมือน จะไม่เกี่ยวข้องกับการทดลองของคุณก็ตาม นอกจากนี้ ให้ทำการทดลองพร้อมกันเฉพาะเมื่อคุณมั่นใจว่าพวกเขาจะไม่มีปฏิสัมพันธ์กับกันและกัน

• ใช้ช่วงความมั่นใจในการวิเคราะห์เชิงลึก เกี่ยวกับตัวชี้วัดและตรวจสอบกรณีที่มีความสำคัญทางสถิติ หากช่วงความมั่นใจกว้างเกินไป เมตริกอาจไม่เคยถึงความสำคัญทางสถิติ

• หากเมตริกหนึ่งมีการเพิ่มขึ้นอย่างมีนัยสำคัญและอีกเมตริกหนึ่งมีการลดลงอย่างมีนัยสำคัญ คุณต้อง ตัดสินใจว่าการแลกเปลี่ยนคุ้มค่าหรือไม่ อาจจะร่วมกับการเคลื่อนไหวที่มีนัยสำคัญทางสถิติอื่นๆ

• การทดลองให้สัญญาณที่แข็งแกร่ง แต่ ความสำคัญทางสถิติจะเกี่ยวข้องกับความน่าจะเป็น ไม่ใช่ความแน่นอน—ดังนั้นช่วงความมั่นใจ ความแปรปรวนของข้อมูล ขนาดตัวอย่าง และขนาดของการเปลี่ยนแปลงทั้งหมดมีผลต่อความน่าจะเป็นในการตรวจจับว่ารูปแบบมีผลต่อพฤติกรรมของผู้เล่น การดำเนินการใดๆ ที่คุณทำตามผลลัพธ์ของการทดลองควรมีการชั่งน้ำหนักกับข้อมูลเชิงคุณภาพเช่นข้อเสนอแนะแบบผู้เล่นและวิสัยทัศน์โดยรวมของคุณสำหรับเกม

• บันทึกผลการค้นพบและการตัดสินใจของคุณ แม้ว่าคุณจะไม่ใช้พวกเขาในการทำการทดลองเพิ่มเติม การมีความรู้และหลักฐานสามารถช่วยในการออกแบบเกมของคุณได้