Eksperymenty

Eksperymenty pozwalają na przeprowadzanie testów A/B w grze i matchmakingu w celu mierzenia wpływu zmian na twoje doświadczenie. Na przykład, możesz pokazać różne doświadczenia wprowadzające różnym graczom i zmierzyć różnice w czasie gry, retencji i innych kluczowych wskaźnikach wydajności.

Eksperymenty są doskonałe do mierzenia następujących aspektów:

• Zaangażowanie - przepływy wprowadzające, systemy progresji, schematy sterowania, niestandardowy matchmaking
• Monetyzacja - widoczność sklepu i doświadczenie użytkowników, typy pakietów startowych, ceny

Tworzenie eksperymentów

Eksperymenty występują w dwóch typach:

• Eksperymenty w doświadczeniu pozwalają mierzyć wpływ różnych wartości konfiguracyjnych.
• Eksperymenty matchmakingowe pozwalają mierzyć wpływ różnych konfiguracji niestandardowego matchmakingu. W przeciwieństwie do eksperymentów w doświadczeniu, możesz prowadzić tylko jeden eksperyment matchmakingowy w danym czasie.

1. Jeśli jeszcze nie masz konfiguracji, stwórz jedną dla swojego doświadczenia.

2. Na stronie Eksperymenty w Creator Hub dla twojego doświadczenia kliknij Utwórz eksperyment.

3. W sekcji Typ wybierz W doświadczeniu.

4. Określ nazwę, wskaźnik celu i planowany czas trwania eksperymentu. Eksperymenty trwają od 14 do 60 dni.

   Niezależnie od tego, co wybierzesz jako wskaźnik celu, eksperymenty śledzą wszystkie wskaźniki z listy.

5. Wybierz procent wdrożenia. Ta liczba to procent graczy, których chcesz uwzględnić w eksperymencie.

   Ogólnie rzecz biorąc, im więcej osób uwzględnisz w eksperymencie, tym lepsze dane, ale używaj swojego osądu, aby zdecydować, co jest najlepsze dla twojego doświadczenia.

   Zwróć uwagę na najmniejszy wykrywalny efekt, który jest najmniejszą zmianą w wybranym wskaźniku, którą eksperyment może wiarygodnie wykryć.

6. Określ warianty i procenty.

   Warianty to alternatywne wartości dla twojej konfiguracji. Dla numerycznego klucza konfiguracyjnego bossHealth o wartości kontrolnej 500 możesz określić wariant 300. Możesz mieć do dwóch wariantów i jedną kontrolę w eksperymencie.

   Procenty określają, jak przydzielić warianty w ramach wdrożenia eksperymentu. Rozważ następujący przykład:

   • Wybierasz całkowite wdrożenie na poziomie 40%.
   • Określasz dwa warianty i podział 50/50 między nimi a kontrolą.

   W tym przykładzie 60% twoich użytkowników jest wykluczonych z eksperymentu; ci użytkownicy otrzymują kontrolę i nie mają wpływu na wyniki eksperymentu. Około 20% twoich użytkowników otrzymuje kontrolę w ramach eksperymentu. Kolejne 20% otrzymuje wariant. W zależności od liczby graczy, to rozmieszczenie może nie być wystarczająco duże, aby uzyskać użyteczne wyniki.

   Kiedy masz wątpliwości, zalecamy proste eksperymenty 50/50 z jednym wariantem i jedną kontrolą przy dużych wdrożeniach. Eksperymenty są łatwiejsze do skonfigurowania, a wyniki łatwiejsze do zinterpretowania.

   

7. Ostatnim krokiem jest planowanie. Możesz rozpocząć eksperymenty natychmiast lub zaplanować je na później. Po zaplanowaniu eksperymentu nie możesz zmieniać jego konfiguracji (czas trwania, procent wdrożenia, warianty itp.), ale możesz go przekładać.

Wskaźniki

Eksperymenty śledzą wszystkie poniższe wskaźniki przez czas trwania eksperymentu.

Status eksperymentu

Strona Eksperymenty pokazuje następujące statusy dla eksperymentów.

Dodaj eksperymenty do swojego kodu

Aplikowanie eksperymentów w doświadczeniu jest podobne do aplikowania konfiguracji. Główna różnica polega na użyciu ConfigService:GetConfigForPlayerAsync() zamiast ConfigService:GetConfigAsync().

GetConfigForPlayerAsync() pobiera specyficzny dla gracza zrzut konfiguracji. Kiedy wywołujesz GetValue(), zrzut sprawdza, czy istnieje aktywny eksperyment i zapisuje (lub nie zapisuje) użytkownika na podstawie procentu wdrożenia.

local ConfigService = game:GetService("ConfigService")
local Players = game:GetService("Players")

local function onPlayerAdded(player)
    local playerConfig = ConfigService:GetConfigForPlayerAsync(player)
    local leaderboardColor = playerConfig:GetValue("leaderboardColor")
end

Players.PlayerAdded:Connect(onPlayerAdded)

• Musisz wywołać GetConfigForPlayerAsync() osobno dla każdego gracza; GetConfigAsync() nie stosuje eksperymentów.

• Po wywołaniu GetValue() na zrzucie specyficznym dla gracza, gracz związany z tym zrzutem jest zapisany w eksperymencie dla tego klucza i tylko tego klucza. Wszystkie późniejsze wywołania metody zwracają tę samą kontrolę lub wariant przez cały czas trwania eksperymentu. Tylko pierwsze wywołanie jest losowe.

  Zaczekaj, aby wywołać GetValue(), aż będziesz tego potrzebować. Zbyt wczesne wywołanie GetValue() może spowodować zapisanie graczy, którzy nigdy nie będą mieli kontaktu z częścią doświadczenia, na której eksperymentujesz.

• Zapis w eksperymentach nie jest ograniczony do nowych użytkowników. Nawet jeśli użytkownik wcześniej otrzymał wartość z GetConfigAsync(), nadal możesz go zapisać w eksperymencie, korzystając z zrzutu specyficznego dla gracza z GetConfigForPlayerAsync().

• Jeśli klucz w zrzucie specyficznym dla gracza nie ma aktywnego eksperymentu, GetValue() zwraca standardową wartość konfiguracyjną (lub nil, jeśli nie ma wartości).

Docelowe zapisanie

Jeśli chcesz skierować niektóre proporcje swoich graczy, które spełniają konkretne kryteria, musisz napisać dodatkowy kod, aby sprawdzić te kryteria i dopiero wtedy wywołać GetValue(), aby zapisać ich w eksperymencie. Rozważ następujący przykład:

• Chcesz przetestować nowy schemat sterowania w swoim doświadczeniu.
• Nie chcesz uwzględniać obecnych graczy (którzy są przypuszczalnie przyzwyczajeni do istniejącego schematu), tylko nowych graczy.

Twój kod może wyglądać następująco:

local function getControlScheme(player, racesCompleted)
    if racesCompleted > 0 then
        return "standardScheme"
    else
        -- Gracz jest nowy, zapisuje w eksperymencie
        local playerConfigSnapshot = ConfigService:GetConfigForPlayerAsync(player)
        if playerConfigSnapshot:GetValue("useNewControlScheme") then
            return "newScheme"
        else
            return "standardScheme"
        end
    end
end

Jeśli chcesz, aby schemat kontroli utrzymywał się podczas kolejnych sesji, prawdopodobnie będziesz musiał dodać wartość do wpisu gracza w magazynie danych.

Wyświetlanie i interpretowanie wyników

Po przeprowadzeniu eksperymentu przez co najmniej 24 godziny, kliknij Wyświetl, aby zobaczyć szczegóły i wyniki.

Możesz zobaczyć całkowitą liczbę graczy zapisanych w eksperymencie, jak również liczbę graczy, którzy otrzymali wartość kontrolną i każdy wariant. Wczesne przeglądanie tej strony w eksperymencie jest przydatne tylko do upewnienia się, że eksperyment działa poprawnie, nie do podejmowania działań. Zanim podejmiesz jakiekolwiek działania, zapoznaj się z Najlepszymi praktykami.

Po zakończeniu eksperymentu sprawdź zakładkę Wyniki. Szukaj statystycznie istotnych zmian w wskaźnikach celu, które panel kontrolny wyróżnia na zielono lub czerwono. Te zmiany mają większe prawdopodobieństwo, aby pokazać wpływ twojego wariantu i są mniej prawdopodobne, aby były fałszywymi pozytywami lub negatywami.

Najedź kursorem na dowolny wskaźnik, aby zobaczyć przycisk Wyświetl zaufanie, który pokazuje przedział ufności.

Wskaźnik jest statystycznie istotny, gdy przedział ufności dla jego procentowej zmiany nie pokrywa się z 0%. W następującym przykładzie, retencja D1 wzrosła o 17,4%, a dolna i górna granica wyniosły odpowiednio 8,02% i 22,03%, co czyni tę zmianę statystycznie istotną.

Dla wygody strona wyników pozwala na zastąpienie domyślnej wartości konfiguracyjnej jednym z wariantów z eksperymentu. Kliknij Podejmij decyzję, aby wybrać wariant lub Zmień zwycięzcę, jeśli zmienisz zdanie. Jeśli następnie wrócisz do strony Konfiguracje, powinieneś zobaczyć nową wartość.

Najlepsze praktyki dla eksperymentów

• Użyj najmniejszego wykrywalnego efektu (MDE), aby zdecydować, czy twój eksperyment jest wart przeprowadzenia.

  Roblox oblicza MDE, korzystając z twojego wskaźnika celu i liczby graczy na wariant, co oparte jest na codziennych aktywnych użytkownikach, procentach wdrożenia, czasie trwania eksperymentu i podziałach wariantów. Jeśli MDE jest zbyt wysoki dla twojego wskaźnika celu (na przykład, więcej niż 100%), jest mało prawdopodobne, że osiągniesz statystyczną istotność. Doświadczenia z mniej niż 1000 codziennych aktywnych użytkowników mogą mieć trudności w uzyskaniu użytecznych danych z eksperymentów.

  

• Zacznij od hipotezy. Zamiast po prostu zmieniać zmienną i sprawdzać wyniki, napisz stwierdzenie o przyczynie i skutku na temat tego, co zmieniłeś, co oczekujesz, że się stanie i dlaczego. W miarę przeprowadzania coraz więcej eksperymentów, posiadanie zbioru pisemnych hipotez towarzyszących wynikom może pomóc w uporządkowaniu myśli i zainspirować nowe pomysły na eksperymenty.

• Pozwól eksperymentom działać przez pełne okresy. Efekt nowości (tymczasowe zainteresowanie zmianą nie dlatego, że jest lepsza, ale ponieważ jest nowa) może silnie zniekształcać wczesne wyniki, czasami powodując, że wahania są statystycznie istotne. Kończenie eksperymentów przedwcześnie zwiększa ryzyko podejmowania przedwczesnych działań na podstawie anomalnych szczytów, które więcej danych mogłoby wygładzić lub nawet zaprzeczyć.

• Nie podejmuj działań bez statystycznej istotności. Nawet pozornie duże zmiany w zachowaniu graczy mogą nie być statystycznie istotne, zazwyczaj z powodu małej wielkości próbki. Jeśli zmiana nie jest statystycznie istotna, zignoruj ją.

• Unikaj zmian podczas eksperymentów. W przypadku poważnych błędów oczywiście konieczne są poprawki, ale zmiany w treści doświadczenia mogą wpłynąć na zachowanie graczy i unieważnić twoje wyniki, nawet jeśli zmiany wydają się niezwiązane z eksperymentem. Podobnie, uruchamiaj eksperymenty jednocześnie tylko wtedy, gdy jesteś pewny, że nie będą na siebie wpływać.

• Używaj przedziałów ufności do głębokiej analizy wskaźników i sprawdzania przypadków granicznych statystycznej istotności. Jeśli przedział ufności jest zbyt szeroki, może nigdy nie osiągnąć statystycznej istotności.

• Jeśli jeden wskaźnik znacząco rośnie, a drugi znacząco spada, musisz zdecydować, czy warto podjąć wysiłek, być może wspólnie z innymi statystycznie istotnymi ruchami.

• Eksperymenty dostarczają silnych sygnałów, ale statystyczna istotność opiera się na prawdopodobieństwie, a nie pewności — stąd przedział ufności. Zmienność danych, wielkość próbki i wielkość zmiany wpływają na prawdopodobieństwo wykrycia, czy wariant wpłynął na zachowanie graczy. Jakiekolwiek działania, które podejmujesz na podstawie wyników eksperymentu, należy zrównoważyć z danymi jakościowymi, takimi jak opinie graczy i twoja ogólna wizja doświadczenia.

• Dokumentuj swoje odkrycia i decyzje. Nawet jeśli nie używasz ich do przeprowadzania dodatkowych eksperymentów, posiadanie zbioru wiedzy i dowodów może pomóc w informowaniu, jak projektujesz swoje doświadczenia.