การทดลอง

การทดลอง ช่วยให้คุณสามารถทำการทดสอบ A/B ในเกมและการจับคู่เพื่อวัดผลกระทบที่เกิดจากการเปลี่ยนแปลงในเกมของคุณ ตัวอย่างเช่น คุณสามารถแสดงประสบการณ์การเริ่มต้นที่แตกต่างกันให้กับผู้เล่นที่แตกต่างกันและวัดความแตกต่างในเวลาเล่น การรักษาผู้เล่น และตัวชี้วัดประสิทธิภาพหลักอื่นๆ

การทดลองเหมาะสำหรับการวัดผลดังต่อไปนี้:

• การมีส่วนร่วม - กระบวนการเริ่มต้น ระบบความก้าวหน้า แผนการควบคุม การจับคู่ที่กำหนดเอง
• การสร้างรายได้ - การมองเห็นร้านค้าและประสบการณ์ของผู้ใช้ ประเภทของแพ็คเริ่มต้น การตั้งราคา

สร้างการทดลอง

การทดลองมีสองประเภท:

• การทดลองในเกม ช่วยให้คุณวัดผลกระทบของค่าคอนฟิกต่างๆ config values
• การทดลองการจับคู่ ช่วยให้คุณวัดผลกระทบของการตั้งค่าการจับคู่ที่กำหนดเอง custom matchmaking configurations แตกต่างจากการทดลองในเกม คุณสามารถทำการทดลองการจับคู่ได้เพียงหนึ่งครั้งในเวลาเดียว

1. หากคุณยังไม่มี config ให้สร้างหนึ่งสำหรับเกมของคุณ

2. บนหน้า Creator Hub การทดลอง สำหรับเกมของคุณ คลิก สร้างการทดลอง

3. สำหรับ ประเภท ให้เลือก ในประสบการณ์

4. ระบุชื่อ ตัวชี้วัดเป้าหมาย และระยะเวลาที่วางแผนสำหรับการทดลอง การทดลองจะดำเนินการเป็นระยะเวลา 14-60 วัน

   ไม่ว่าคุณจะเลือกอะไรเป็นตัวชี้วัดเป้าหมาย การทดลองจะติดตามตัวชี้วัดทั้งหมด metrics ในรายการ

5. เลือกเปอร์เซ็นต์การเปิดตัว ตัวเลขนี้คือเปอร์เซ็นต์ของผู้เล่นที่คุณต้องการรวมไว้ในการทดลอง

   โดยทั่วไป ยิ่งคุณรวมผู้คนมากขึ้นในการทดลอง ข้อมูลก็จะยิ่งดีขึ้น แต่ให้ใช้การตัดสินใจของคุณเกี่ยวกับสิ่งที่ดีที่สุดสำหรับเกมของคุณ

   ให้ความสนใจกับ ผลกระทบที่ตรวจจับได้ขั้นต่ำ ซึ่งคือการเปลี่ยนแปลงที่เล็กที่สุดในตัวชี้วัดที่เลือกซึ่งการทดลองสามารถตรวจจับได้อย่างเชื่อถือได้

6. ระบุรูปแบบและเปอร์เซ็นต์

   รูปแบบคือค่าทางเลือกสำหรับคอนฟิกของคุณ สำหรับคีย์คอนฟิกเชิงตัวเลข bossHealth ที่มีค่าควบคุม 500 คุณอาจระบุรูปแบบเป็น 300 คุณสามารถมีได้ถึง สองรูปแบบ และหนึ่งค่าควบคุมในการทดลอง

   เปอร์เซ็นต์กำหนดวิธีการกำหนดรูปแบบ ภายในการเปิดตัวการทดลอง พิจารณาตัวอย่างต่อไปนี้:

   • คุณเลือกการเปิดตัวโดยรวมที่ 40%
   • คุณระบุสองรูปแบบและการแบ่ง 50/50 ระหว่างพวกเขาและค่าควบคุม

   ในตัวอย่างนี้ 60% ของผู้ใช้ของคุณจะถูกยกเว้นจากการทดลอง ผู้ใช้เหล่านี้จะได้รับค่าควบคุมและไม่มีผลกระทบต่อผลลัพธ์ของการทดลอง ประมาณ 20% ของผู้ใช้ของคุณจะได้รับค่าควบคุมเป็นส่วนหนึ่งของการทดลอง อีก 20% จะได้รับรูปแบบ ขึ้นอยู่กับจำนวนผู้เล่น การกระจายนี้อาจไม่ใหญ่พอที่จะให้ผลลัพธ์ที่สามารถดำเนินการได้

   เมื่อไม่แน่ใจ เราขอแนะนำให้ทำการทดลองง่ายๆ 50/50 ของรูปแบบหนึ่งและค่าควบคุมในการเปิดตัวขนาดใหญ่ การทดลองจะตั้งค่าได้ง่ายขึ้น และผลลัพธ์จะตีความได้ง่ายขึ้น

   

7. (ไม่บังคับ) กำหนดเป้าหมายการทดลองไปยังผู้ชมเฉพาะเพื่อให้ผู้เล่นที่ตรงตามเงื่อนไขเท่านั้นที่มีสิทธิ์เข้าร่วม การกำหนดเป้าหมายใช้คุณลักษณะเดียวกันกับ คุณลักษณะของผู้เล่นที่เป็นเงื่อนไข และคุณสามารถคัดลอกเงื่อนไขที่มีอยู่โดยตรงจากคอนฟิกของคุณ สำหรับข้อมูลเพิ่มเติม โปรดดูที่ กำหนดเป้าหมายการทดลองไปยังผู้ชมเฉพาะ

   

8. ขั้นตอนสุดท้ายคือการกำหนดเวลา คุณสามารถเริ่มการทดลองได้ทันทีหรือกำหนดเวลาไว้ในวันที่และเวลาที่ภายหลัง หลังจากที่คุณกำหนดเวลาให้กับการทดลองแล้ว คุณไม่สามารถเปลี่ยนการตั้งค่า (ระยะเวลา เปอร์เซ็นต์การเปิดตัว รูปแบบ ฯลฯ) แต่คุณสามารถกำหนดเวลาใหม่ได้

ตัวชี้วัด

การทดลองติดตามตัวชี้วัดทั้งหมดต่อไปนี้ตลอดระยะเวลาของการทดลอง

สถานะการทดลอง

หน้า การทดลอง แสดงสถานะต่อไปนี้สำหรับการทดลอง

กำหนดเป้าหมายการทดลองไปยังผู้ชมเฉพาะ

ตามค่าเริ่มต้น การทดลองในเกมสามารถลงทะเบียนผู้เล่นใดๆ ในเปอร์เซ็นต์การเปิดตัวของคุณ การกำหนดเป้าหมาย ช่วยให้คุณสามารถทำการทดลองกับผู้ชมเฉพาะได้ เช่น ผู้เล่นในบางประเทศ ช่วงเวลาที่เฉพาะเจาะจง หรือระดับผู้ใช้ที่ใช้จ่ายอย่างกระตือรือร้น การกำหนดเป้าหมายใช้คุณลักษณะเดียวกันกับ การกำหนดเป้าหมายคอนฟิก

ตั้งค่าการทดลองที่กำหนดเป้าหมาย

คุณกำหนดเกณฑ์การกำหนดเป้าหมายเมื่อคุณ สร้างการทดลอง หลังจากที่การทดลองเริ่มต้นขึ้น คุณไม่สามารถเปลี่ยนกฎการกำหนดเป้าหมาย ค่าควบคุม รูปแบบ หรือกฎเงื่อนไขใดๆ ที่คีย์คอนฟิกใช้

คุณสามารถใช้กฎเงื่อนไขที่มีอยู่จากคอนฟิกของคุณเพื่อกำหนดการกำหนดเป้าหมาย แต่การทดลองจะเก็บ สำเนา ของแต่ละกฎอย่างอิสระ การแก้ไขหรือลบเงื่อนไขคอนฟิกต้นฉบับในภายหลังจะไม่มีผลต่อการกำหนดเป้าหมายของการทดลอง

เนื่องจากการจำกัดผู้ชมของคุณจะลดขนาดตัวอย่างของคุณ Roblox จะอัปเดต ผลกระทบที่ตรวจจับได้ขั้นต่ำ (MDE) โดยใช้การประมาณการของผู้ชมที่ตรงตามเกณฑ์การกำหนดเป้าหมายของคุณ ให้แน่ใจว่าผู้ชมที่คุณกำหนดเป้าหมายมีขนาดใหญ่พอที่จะผลิตผลลัพธ์ที่มีความหมายทางสถิติ

วิธีที่ Roblox แก้ไขค่าที่กำหนดเป้าหมาย

Roblox จะประเมินการทดลอง ก่อน กฎใดๆ จากคอนฟิกเงื่อนไขมาตรฐาน เมื่อคีย์คอนฟิกมีการทดลองที่ใช้งานอยู่ Roblox จะกำหนดค่าตามลำดับนี้:

1. ค่าการทดลองที่ใช้งานอยู่ หากผู้เล่นถูกกำหนดเป้าหมายและลงทะเบียน
2. เงื่อนไขคอนฟิกที่ตรงกันแรก
3. เงื่อนไขคอนฟิกที่ตรงกันถัดไป
4. ค่าดีฟอลต์

ผู้เล่นในกลุ่มควบคุมจะได้รับค่าที่กฎคอนฟิกที่มีอยู่ของคุณผลิตขึ้น คุณไม่สามารถทำการทดลองที่ใช้งานอยู่มากกว่าหนึ่งครั้งในคีย์คอนฟิกเดียวกันในเวลาเดียวกัน

การประเมินต่อเซสชัน

Roblox จะประเมินคุณลักษณะการกำหนดเป้าหมาย ต่อเซสชัน ดังนั้นความสามารถในการเข้าร่วมของผู้เล่นแต่ละคนอาจเปลี่ยนแปลงไปตามเวลา:

• หากผู้เล่นตรงตามเกณฑ์การกำหนดเป้าหมายของคุณในระหว่างเซสชัน พวกเขาสามารถลงทะเบียนและได้รับรูปแบบการทดลอง
• หากพวกเขาไม่ตรงตามเกณฑ์ในเซสชันถัดไป พวกเขาจะหยุดรับค่าการทดลองและกลับไปใช้กฎคอนฟิกมาตรฐานของคุณทันที หากการทดลองของคุณต้องการความต่อเนื่องเกินกว่าความสามารถในการเข้าร่วม—เช่น กระบวนการเริ่มต้นหลายเซสชันที่มุ่งเป้าไปที่ผู้เล่นใหม่—ให้เก็บค่าด้วยตัวเอง เช่น ใน data store

ข้อมูลของผู้เล่นจะยังคงถูกระบุว่าเป็นรูปแบบ (หรือควบคุม) ที่พวกเขาลงทะเบียน แม้ว่าพวกเขาจะหยุดตรงตามเกณฑ์ในภายหลัง ตัวอย่างเช่น D7 retention ยังนับผู้เล่นที่ลงทะเบียนในวัน 0 และว่าพวกเขากลับมาในวัน 7 หรือไม่ แม้ว่าพวกเขาจะไม่ผ่านเกณฑ์ในวัน 4

การเปลี่ยนแปลงคอนฟิกในขณะที่การทดลองดำเนินการ

เพื่อป้องกันการเปลี่ยนแปลงการตั้งค่าและข้อมูลการทดลองที่เสียหาย Roblox ล็อคคีย์คอนฟิก ในขณะที่การทดลองเริ่มดำเนินการ:

• คุณไม่สามารถแก้ไขหรือลบคีย์คอนฟิกที่กำลังดำเนินการอยู่ได้ และไม่สามารถแก้ไขค่าที่เป็นเงื่อนไขมาตรฐานได้
• เงื่อนไขทั่วโลกใดๆ ที่คอนฟิกที่ใช้งานอยู่อ้างอิงก็จะถูกล็อคเช่นกัน คุณไม่สามารถแก้ไข ลบ หรือจัดลำดับใหม่ได้

การล็อคจะถูกปล่อยเมื่อการทดลองเสร็จสิ้น

เพิ่มการทดลองในโค้ดของคุณ

การใช้การทดลองในเกมมีความคล้ายคลึงกับ การใช้คอนฟิก ความแตกต่างหลักคือการใช้ ConfigService:GetConfigForPlayerAsync() แทน ConfigService:GetConfigAsync()

GetConfigForPlayerAsync() จะดึงภาพรวมเฉพาะของผู้เล่น เมื่อคุณเรียก GetValue() ภาพรวมจะตรวจสอบการทดลองที่ใช้งานอยู่และลงทะเบียน (หรือลงทะเบียนไม่) ผู้ใช้ตามเปอร์เซ็นต์การเปิดตัว

local ConfigService = game:GetService("ConfigService")
local Players = game:GetService("Players")

local function onPlayerAdded(player)
    local playerConfig = ConfigService:GetConfigForPlayerAsync(player)
    local leaderboardColor = playerConfig:GetValue("leaderboardColor")
end

Players.PlayerAdded:Connect(onPlayerAdded)

• คุณต้องเรียก GetConfigForPlayerAsync() แยกกันสำหรับแต่ละผู้เล่น; GetConfigAsync() ไม่ใช้การทดลอง

• หลังจากที่คุณเรียก GetValue() บนภาพรวมเฉพาะของผู้เล่น ผู้เล่นที่เกี่ยวข้องกับภาพรวมจะลงทะเบียนในการทดลองสำหรับคีย์นั้นและคีย์นั้นเท่านั้น การเรียกครั้งถัดไปทั้งหมดจะส่งคืนค่าควบคุมหรือรูปแบบเดียวกันตลอดระยะเวลาของการทดลอง การเรียกครั้งแรกเท่านั้นที่เป็นแบบสุ่ม

  รอเรียก GetValue() จนกว่าคุณจะต้องการมัน การเรียก GetValue() ก่อนเวลาที่เหมาะสมอาจทำให้คุณลงทะเบียนผู้เล่นที่ไม่เคยมีปฏิสัมพันธ์กับส่วนของเกมที่คุณกำลังทดลอง

• การลงทะเบียนในการทดลองไม่จำกัดเฉพาะผู้ใช้ใหม่ แม้ว่าผู้ใช้จะเคยได้รับค่าจาก GetConfigAsync() คุณยังสามารถลงทะเบียนพวกเขาในการทดลองโดยใช้ภาพรวมเฉพาะของผู้เล่นจาก GetConfigForPlayerAsync()

• หากคีย์ในภาพรวมเฉพาะของผู้เล่นไม่มีการทดลองที่ใช้งานอยู่ GetValue() จะส่งคืนค่าคอนฟิกมาตรฐาน (หรือนิลหากไม่มีค่า)

การลงทะเบียนแบบกำหนดเอง

หากคุณต้องการลงทะเบียนเฉพาะผู้เล่นที่ตรงตามเกณฑ์ตามสถานะในเกม คุณต้องเขียนโค้ดเพิ่มเติมเพื่อตรวจสอบเกณฑ์เหล่านั้นและจากนั้นเรียก GetValue() เพื่อให้พวกเขาลงทะเบียนในการทดลอง พิจารณาตัวอย่างต่อไปนี้:

• คุณต้องการทดสอบแผนการควบคุมใหม่ในเกมแข่งรถของคุณ
• แผนการนี้สำหรับผู้เล่นที่มีความก้าวหน้า ดังนั้นคุณต้องการกำหนดเป้าหมายผู้เล่นที่ชนะการแข่งขันจำนวนมาก

โค้ดของคุณอาจมีลักษณะดังนี้:

local function getControlScheme(player, racesWon)
    if racesWon < 20 then
        return "standardScheme"
    else
        -- ผู้เล่นมีชัยชนะมาก ลงทะเบียนในทดลอง
        local playerConfigSnapshot = ConfigService:GetConfigForPlayerAsync(player)
        if playerConfigSnapshot:GetValue("useNewControlScheme") then
            return "newScheme"
        else
            return "standardScheme"
        end
    end
end

หากคุณต้องการให้แผนการควบคุมคงอยู่ในเซสชันถัดไป คุณอาจต้องเพิ่มค่าไปยังรายการของผู้เล่นใน data store

ดูและตีความผลลัพธ์

หลังจากการทดลองดำเนินการเป็นเวลาอย่างน้อย 24 ชั่วโมง คลิก ดู เพื่อดูรายละเอียดและผลลัพธ์

คุณสามารถดูจำนวนผู้เล่นทั้งหมดที่ลงทะเบียน รวมถึงจำนวนผู้เล่นที่ได้รับค่าควบคุมและแต่ละรูปแบบ การดูหน้านี้ในช่วงต้นของการทดลองมีประโยชน์เฉพาะเพื่อให้แน่ใจว่าการทดลองกำลังดำเนินการอย่างถูกต้อง ไม่ใช่ เพื่อดำเนินการ ก่อนที่จะดำเนินการให้ดูที่ แนวทางปฏิบัติที่ดีที่สุด

หลังจากการทดลองเสร็จสิ้น ให้ตรวจสอบแท็บ ผลลัพธ์ มองหาการเปลี่ยนแปลงที่มีนัยสำคัญทางสถิติในตัวชี้วัดเป้าหมาย ซึ่งแดชบอร์ดจะเน้นในสีเขียวหรือสีแดง การเปลี่ยนแปลงเหล่านี้มีแนวโน้มที่จะแสดงผลกระทบของรูปแบบของคุณและมีแนวโน้มที่จะไม่เป็นผลบวกหรือผลลบที่ผิดพลาด

ชี้ไปที่ตัวชี้วัดใดๆ เพื่อดูปุ่ม ดูความมั่นใจ ซึ่งจะแสดงช่วงความมั่นใจ

ตัวชี้วัดจะมีนัยสำคัญทางสถิติเมื่อช่วงความมั่นใจสำหรับเปอร์เซ็นต์การเปลี่ยนแปลงของมันไม่ทับซ้อนกับ 0% ในตัวอย่างต่อไปนี้ D1 retention เพิ่มขึ้น 17.4% โดยมีขอบล่างและขอบบน 8.02% และ 22.03% ซึ่งทำให้การเปลี่ยนแปลงมีนัยสำคัญทางสถิติ

เพื่อความสะดวก หน้าผลลัพธ์ให้คุณแทนค่าคอนฟิกดีฟอลต์ด้วยหนึ่งในรูปแบบจากการทดลอง

ตัดสินใจ

เมื่อการทดลองของคุณสิ้นสุดลง คลิก ตัดสินใจ เพื่อเริ่มการเปิดตัวที่มีการแนะนำ Roblox จะแสดงคำเตือนเกี่ยวกับความสำคัญทางสถิติและระยะเวลาของการทดลอง จากนั้นจะขอให้คุณเลือกค่ารูปแบบที่ชนะหรือเก็บค่าควบคุม ตามที่คุณเลือก Roblox จะเปิดตัวการเปลี่ยนแปลงที่เหมาะสมไปยังคอนฟิกถาวรของคุณ; การกลับไปที่หน้า คอนฟิก จะแสดงค่าที่ใหม่ คลิก เปลี่ยนผู้ชนะ หากคุณเปลี่ยนใจ

หากคุณมีการเปลี่ยนแปลงที่ยังไม่ได้แก้ไขในคอนฟิกเมื่อคุณเสร็จสิ้นการทดลอง Roblox จะเก็บรักษาไว้ชั่วคราวและคืนค่าหลังจากการเปิดตัวตามความพยายามที่ดีที่สุด

การตัดสินใจของคุณจะกำหนดการเปลี่ยนแปลงคอนฟิกที่ Roblox เสนอ:

• ควบคุม: Roblox จะไม่ทำการเปลี่ยนแปลงใดๆ กับคอนฟิกที่มีอยู่ของคุณ

• รูปแบบที่ไม่กำหนดเป้าหมาย: ค่ารูปแบบจะกลายเป็นค่าดีฟอลต์ใหม่ของคอนฟิก Roblox จะลบเงื่อนไขอื่นๆ ทั้งหมดในคีย์คอนฟิกนั้น แม้ว่าพวกเขาจะยังคงอยู่ในรายการเงื่อนไขทั่วโลกของคุณ

• รูปแบบที่กำหนดเป้าหมาย: Roblox จะรวมกฎที่ชนะกลับเข้าไปในคอนฟิกถาวรของคุณโดยใช้ตัวเลือกแรกที่ใช้ได้ในลำดับความสำคัญนี้:

  1. เขียนทับ: หากเงื่อนไขที่เหมือนกันอยู่ที่ด้านบนของคอนฟิก Roblox จะเขียนทับค่าของมันด้วยค่าของรูปแบบที่ชนะ
  2. เพิ่มที่มีอยู่: หากเงื่อนไขทั่วโลกที่ตรงกันมีอยู่และจะนั่งอยู่ที่ด้านบนตามธรรมชาติ Roblox จะเพิ่มมันลงในคอนฟิกด้วยค่าของรูปแบบ
  3. เลื่อนขึ้น: หากเงื่อนไขทั่วโลกที่ตรงกันสามารถเลื่อนขึ้นได้อย่างปลอดภัยไปยังอันดับต่ำสุดที่จำเป็นเพื่อทำให้มันเป็นกฎสูงสุดในคอนฟิกนี้ (โดยไม่เปลี่ยนแปลงคอนฟิกอื่นๆ) Roblox จะเพิ่มมันลงในคอนฟิกและจัดลำดับใหม่ทั่วโลก
  4. สร้างใหม่: มิฉะนั้น Roblox จะสร้างเงื่อนไขทั่วโลกใหม่ที่มีอันดับสูงกว่าค่าที่สูงที่สุดที่ใช้ในคอนฟิกในปัจจุบัน หากสิ่งนี้สร้างกฎซ้ำในคอนฟิก Roblox จะลบค่าที่เป็นเงื่อนไขที่ซ้ำซ้อนในขณะที่รักษากฎทั่วโลก

แนวทางปฏิบัติที่ดีที่สุดสำหรับการทดลอง

• ใช้ผลกระทบที่ตรวจจับได้ขั้นต่ำ (MDE) เพื่อกำหนดว่าการทดลองของคุณคุ้มค่าที่จะดำเนินการหรือไม่

  Roblox คำนวณ MDE โดยใช้ตัวชี้วัดเป้าหมายและจำนวนผู้เล่นต่อรูปแบบ ซึ่งขึ้นอยู่กับผู้ใช้ที่ใช้งานในแต่ละวัน เปอร์เซ็นต์การเปิดตัว ระยะเวลาการทดลอง และการแบ่งรูปแบบ หาก MDE สูงเกินไปสำหรับตัวชี้วัดเป้าหมายของคุณ (เช่น มากกว่า 100%) มีแนวโน้มว่าคุณจะไม่สามารถเข้าถึงความสำคัญทางสถิติได้ เกมที่มีผู้ใช้ที่ใช้งานน้อยกว่า 1,000 คนต่อวันอาจประสบปัญหาในการรับข้อมูลที่มีประโยชน์จากการทดลอง

  

• เริ่มต้นด้วยสมมติฐาน แทนที่จะเปลี่ยนแปลงตัวแปรและตรวจสอบผลลัพธ์ ให้เขียนคำแถลงเกี่ยวกับสาเหตุและผลกระทบเกี่ยวกับสิ่งที่คุณเปลี่ยนแปลง สิ่งที่คุณคาดหวังว่าจะเกิดขึ้น และทำไม ขณะที่คุณทำการทดลองมากขึ้น การมีชุดสมมติฐานที่เขียนไว้เพื่อประกอบกับผลลัพธ์ของคุณสามารถช่วยชี้แจงความคิดของคุณและกระตุ้นแนวคิดใหม่ๆ สำหรับการทดลอง

• ให้การทดลองดำเนินการตามระยะเวลาที่เต็มที่ ผลกระทบของนวัตกรรม (ความสนใจชั่วคราวในสิ่งที่เปลี่ยนแปลงไม่ใช่เพราะมันดีกว่า แต่เพราะมันใหม่) สามารถทำให้ผลลัพธ์ในช่วงต้นเบี่ยงเบนไปอย่างมาก บางครั้งทำให้พวกเขาสวิงเข้าและออกจากความสำคัญทางสถิติ การสิ้นสุดการทดลองก่อนกำหนดจะเพิ่มโอกาสที่คุณจะดำเนินการก่อนกำหนดตามการกระโดดที่ผิดปกติซึ่งข้อมูลเพิ่มเติมจะทำให้เรียบขึ้นหรือแม้กระทั่งขัดแย้ง

• อย่าดำเนินการโดยไม่มีความสำคัญทางสถิติ แม้ว่าการเปลี่ยนแปลงที่ดูเหมือนจะมีขนาดใหญ่ในพฤติกรรมของผู้เล่นอาจไม่สำคัญทางสถิติ โดยทั่วไปเนื่องจากขนาดตัวอย่างเล็ก หากการเปลี่ยนแปลงไม่สำคัญทางสถิติ ให้ละเว้น

• หลีกเลี่ยงการเปลี่ยนแปลงในระหว่างการทดลอง แน่นอนว่าข้อบกพร่องใหญ่ต้องการการแก้ไข แต่การเปลี่ยนแปลงเนื้อหาในเกมสามารถส่งผลต่อพฤติกรรมของผู้เล่นและทำให้ผลลัพธ์ของคุณไม่ถูกต้อง แม้ว่าการเปลี่ยนแปลงจะ ดูเหมือน จะไม่เกี่ยวข้องกับการทดลองของคุณก็ตาม นอกจากนี้ ให้ทำการทดลองพร้อมกันเฉพาะเมื่อคุณมั่นใจว่าพวกเขาจะไม่มีปฏิสัมพันธ์กับกันและกัน

• ใช้ช่วงความมั่นใจในการวิเคราะห์เชิงลึก เกี่ยวกับตัวชี้วัดและเพื่อตรวจสอบกรณีที่มีความสำคัญทางสถิติที่ขอบเขต หากช่วงความมั่นใจกว้างเกินไป ตัวชี้วัดอาจไม่เคยถึงความสำคัญทางสถิติ

• หากตัวชี้วัดหนึ่งมีการเพิ่มขึ้นอย่างมีนัยสำคัญและอีกตัวหนึ่งมีการลดลงอย่างมีนัยสำคัญ คุณต้อง ตัดสินใจว่าการแลกเปลี่ยนคุ้มค่าหรือไม่ อาจจะร่วมกับการเคลื่อนไหวที่มีนัยสำคัญทางสถิติอื่นๆ

• การทดลองให้สัญญาณที่แข็งแกร่ง แต่ ความสำคัญทางสถิติจะเกี่ยวข้องกับความน่าจะเป็น ไม่ใช่ความแน่นอน—ดังนั้นจึงมีช่วงความมั่นใจ ความแปรปรวนของข้อมูล ขนาดตัวอย่าง และขนาดของการเปลี่ยนแปลงทั้งหมดมีผลต่อความน่าจะเป็นในการตรวจจับว่ารูปแบบมีผลต่อพฤติกรรมของผู้เล่น การดำเนินการใดๆ ที่คุณทำตามผลลัพธ์ของการทดลองควรมีการชั่งน้ำหนักกับข้อมูลเชิงคุณภาพเช่นข้อเสนอแนะแบบผู้เล่นและวิสัยทัศน์โดยรวมของคุณสำหรับเกม

• บันทึกผลการค้นพบและการตัดสินใจของคุณ แม้ว่าคุณจะไม่ใช้พวกเขาในการทำการทดลองเพิ่มเติม การมีความรู้และหลักฐานสามารถช่วยในการออกแบบเกมของคุณได้