Eksperymenty

Eksperymenty pozwalają na przeprowadzanie testów A/B w grze i matchmakingu, aby zmierzyć przyczynowy wpływ zmian w twojej grze. Na przykład, możesz pokazać różne doświadczenia wprowadzające różnym graczom i zmierzyć różnice w czasie gry, retencji i innych kluczowych wskaźnikach wydajności.

Eksperymenty są doskonałe do mierzenia następujących aspektów:

• Zaangażowanie - Procesy wprowadzające, systemy postępu, schematy sterowania, niestandardowy matchmaking
• Monetyzacja - Widoczność sklepu i doświadczenie użytkownika, rodzaje pakietów startowych, ceny

Tworzenie eksperymentów

Eksperymenty występują w dwóch typach:

• Eksperymenty w grze pozwalają na mierzenie wpływu różnych wartości konfiguracyjnych.
• Eksperymenty matchmakingowe pozwalają na mierzenie wpływu różnych niestandardowych konfiguracji matchmakingu. W przeciwieństwie do eksperymentów w grze, możesz uruchomić tylko jeden eksperyment matchmakingowy w danym czasie.

1. Jeśli nie masz jeszcze konfiguracji, stwórz jedną dla swojej gry.

2. Na stronie Creator Hub Eksperymenty dla swojej gry, kliknij Utwórz eksperyment.

3. Dla Typu, wybierz W doświadczeniu.

4. Określ nazwę, wskaźnik celu i planowany czas trwania eksperymentu. Eksperymenty trwają od 14 do 60 dni.

   Niezależnie od tego, co wybierzesz jako wskaźnik celu, eksperymenty śledzą wszystkie wskaźniki z listy.

5. Wybierz procentowy zasięg. Ta liczba to procent graczy, których chcesz uwzględnić w eksperymencie.

   Generalnie, im więcej osób uwzględnisz w eksperymencie, tym lepsze dane, ale użyj swojego osądu, co jest najlepsze dla twojej gry.

   Zwróć uwagę na minimalny wykrywalny efekt, który jest najmniejszą zmianą w wybranym wskaźniku, którą eksperyment może wiarygodnie wykryć.

6. Określ warianty i procenty.

   Warianty to alternatywne wartości dla twojej konfiguracji. Dla numerycznego klucza konfiguracyjnego bossHealth z wartością kontrolną 500, możesz określić wariant 300. Możesz mieć do dwóch wariantów i jednej kontroli w eksperymencie.

   Procenty określają, jak przypisać warianty w ramach zasięgu eksperymentu. Rozważ następujący przykład:

   • Wybierasz ogólny zasięg 40%.
   • Określasz dwa warianty i podział 50/50 między nimi a kontrolą.

   W tym przykładzie 60% twoich użytkowników jest wykluczonych z eksperymentu; ci użytkownicy otrzymują kontrolę i nie mają wpływu na wyniki eksperymentu. Około 20% twoich użytkowników otrzymuje kontrolę jako część eksperymentu. Kolejne 20% otrzymuje wariant. W zależności od liczby graczy, ten rozkład może nie być wystarczająco duży, aby uzyskać użyteczne wyniki.

   W razie wątpliwości zalecamy proste eksperymenty 50/50 z jednym wariantem i jedną kontrolą przy dużych zasięgach. Eksperymenty są łatwiejsze do skonfigurowania, a wyniki łatwiejsze do interpretacji.

   

7. (Opcjonalnie) Skieruj eksperyment do konkretnej grupy odbiorców, aby tylko pasujący gracze byli uprawnieni do zapisania się. Kierowanie używa tych samych atrybutów gracza co warunkowe konfiguracje, a istniejące warunki możesz skopiować bezpośrednio z twoich konfiguracji. Aby uzyskać więcej informacji, zobacz Kierowanie eksperymentami do konkretnych grup odbiorców.

   

8. Ostatnim krokiem jest harmonogram. Możesz rozpocząć eksperymenty natychmiast lub zaplanować je na późniejszą datę i godzinę. Po zaplanowaniu eksperymentu nie możesz zmienić jego konfiguracji (czas trwania, procent zasięgu, warianty itp.), ale możesz go przeplanować.

Wskaźniki

Eksperymenty śledzą wszystkie następujące wskaźniki przez czas trwania eksperymentu. Te wskaźniki są aktualizowane co 24 godziny, gdy eksperyment jest w toku. Jednak w ciągu pierwszych 24 godzin twojego eksperymentu, czas gry, wskaźnik konwersji płatników i ARPU również aktualizują się co 5 minut, abyś mógł szybko wychwycić krytyczne regresje (wczesne szkody).

Status eksperymentu

Strona Eksperymenty pokazuje następujące statusy dla eksperymentów.

Kierowanie eksperymentami do konkretnych grup odbiorców

Domyślnie eksperyment w grze może zapisać się każdy gracz w twoim procencie zasięgu. Kierowanie pozwala na przeprowadzenie eksperymentu na konkretnej grupie odbiorców, takich jak gracze w określonych krajach, w określonych oknach stażu lub w aktywnych poziomach wydatków. Kierowanie używa tych samych atrybutów co kierowanie konfiguracjami.

Konfiguracja eksperymentów kierowanych

Konfigurujesz kryteria kierowania, gdy tworzysz eksperyment. Po rozpoczęciu eksperymentu nie możesz zmienić zasad kierowania, wartości kontrolnej, wariantów ani żadnych warunkowych zasad, które używa klucz konfiguracyjny.

Możesz ponownie wykorzystać istniejące zasady warunkowe z twoich konfiguracji, aby zdefiniować swoje kierowanie, ale eksperyment przechowuje niezależną kopię każdej zasady. Edytowanie lub usuwanie oryginalnego warunku konfiguracyjnego później nie ma wpływu na kierowanie eksperymentu.

Ponieważ zawężenie twojej grupy odbiorców zmniejsza rozmiar próbki, Roblox aktualizuje minimalny wykrywalny efekt (MDE) używając oszacowania grupy odbiorców, która pasuje do twoich kryteriów kierowania. Upewnij się, że twoja docelowa grupa odbiorców jest wystarczająco duża, aby uzyskać statystycznie znaczące wyniki.

Jak Roblox rozwiązuje wartości kierowane

Roblox ocenia eksperymenty najpierw, przed jakimikolwiek zasadami z standardowych warunkowych konfiguracji. Gdy klucz konfiguracyjny ma aktywny eksperyment, Roblox rozwiązuje wartość w tej kolejności:

1. Aktywna wartość eksperymentu, jeśli gracz jest kierowany i zapisany.
2. Pierwszy pasujący warunek konfiguracyjny.
3. Jakiekolwiek kolejne pasujące warunki konfiguracyjne.
4. Wartość domyślna.

Gracze w grupie kontrolnej otrzymują wartość, którą produkują twoje istniejące zasady konfiguracyjne. Nie możesz uruchomić więcej niż jednego aktywnego eksperymentu na tym samym kluczu konfiguracyjnym w tym samym czasie.

Ocena na sesję

Roblox ocenia atrybuty kierowania na sesję, więc kwalifikowalność poszczególnych graczy może zmieniać się w czasie:

• Jeśli gracz pasuje do twoich kryteriów kierowania podczas sesji, mogą być zapisani i otrzymać wariant eksperymentu.
• Jeśli przestaną pasować w późniejszej sesji, przestaną otrzymywać wartość eksperymentu i natychmiast wrócą do twoich standardowych zasad konfiguracyjnych. Jeśli twój eksperyment wymaga ciągłości poza kwalifikowalnością - na przykład, wielosesyjny proces wprowadzający skierowany do nowych graczy - zachowaj wartość samodzielnie, na przykład w magazynie danych.

Dane gracza pozostają przypisane do wariantu (lub kontroli), w którym byli zapisani, nawet jeśli później przestaną pasować do kryteriów. Na przykład, retencja D7 nadal liczy gracza, który zapisał się w dniu 0 i czy wrócił w dniu 7, nawet jeśli nie kwalifikują się do dnia 4.

Zmiany w konfiguracji podczas działania eksperymentu

Aby zapobiec dryfowi konfiguracji i uszkodzeniu danych eksperymentu, Roblox blokuje klucz konfiguracyjny w momencie, gdy eksperyment zaczyna działać:

• Nie możesz edytować ani usuwać działającego klucza konfiguracyjnego, ani modyfikować jego standardowych wartości warunkowych.
• Jakiekolwiek globalne warunki, do których odnosi się aktywna konfiguracja, są również zablokowane. Nie możesz ich edytować, usuwać ani zmieniać ich kolejności względem siebie.

Blokada zostaje zdjęta, gdy eksperyment się kończy.

Dodawanie eksperymentów do swojego kodu

Zastosowanie eksperymentów w grze jest podobne do zastosowania konfiguracji. Główna różnica polega na użyciu ConfigService:GetConfigForPlayerAsync() zamiast ConfigService:GetConfigAsync().

GetConfigForPlayerAsync() pobiera specyficzny dla gracza zrzut. Gdy wywołasz GetValue(), zrzut sprawdza, czy istnieje aktywny eksperyment i zapisuje (lub nie zapisuje) użytkownika na podstawie procentu zasięgu.

local ConfigService = game:GetService("ConfigService")
local Players = game:GetService("Players")

local function onPlayerAdded(player)
    local playerConfig = ConfigService:GetConfigForPlayerAsync(player)
    local leaderboardColor = playerConfig:GetValue("leaderboardColor")
end

Players.PlayerAdded:Connect(onPlayerAdded)

• Musisz wywołać GetConfigForPlayerAsync() osobno dla każdego gracza; GetConfigAsync() nie stosuje eksperymentów.

• Po wywołaniu GetValue() na zrzucie specyficznym dla gracza, gracz związany z tym zrzutem jest zapisany w eksperymencie dla tego klucza i tylko tego klucza. Wszystkie kolejne wywołania metody zwracają tę samą kontrolę lub wariant przez czas trwania eksperymentu. Tylko pierwsze wywołanie jest losowe.

  Czekaj z wywołaniem GetValue() do momentu, gdy będziesz tego potrzebować. Zbyt wczesne wywołanie GetValue() może spowodować zapisanie graczy, którzy nigdy nie wchodzą w interakcję z częścią gry, na której eksperymentujesz.

• Zapis w eksperymentach nie jest ograniczony do nowych użytkowników. Nawet jeśli użytkownik wcześniej otrzymał wartość z GetConfigAsync(), nadal możesz zapisać go w eksperymencie, używając zrzutu specyficznego dla gracza z GetConfigForPlayerAsync().

• Jeśli klucz w zrzucie specyficznym dla gracza nie ma aktywnego eksperymentu, GetValue() zwraca standardową wartość konfiguracyjną (lub nil, jeśli nie ma wartości).

Niestandardowe zapisy

Jeśli chcesz zapisać tylko graczy, którzy spełniają kryteria oparte na stanie w grze, musisz napisać dodatkowy kod, aby sprawdzić te kryteria, a następnie wywołać GetValue(), aby ich zapisać w eksperymencie. Rozważ następujący przykład:

• Chcesz przetestować nowy schemat sterowania w swojej grze wyścigowej.
• Schemat jest dla zaawansowanych graczy, więc chcesz kierować graczy, którzy wygrali dużą liczbę wyścigów.

Twój kod może wyglądać mniej więcej tak:

local function getControlScheme(player, racesWon)
    if racesWon < 20 then
        return "standardScheme"
    else
        -- Gracz ma wiele zwycięstw, zapisz w eksperymencie
        local playerConfigSnapshot = ConfigService:GetConfigForPlayerAsync(player)
        if playerConfigSnapshot:GetValue("useNewControlScheme") then
            return "newScheme"
        else
            return "standardScheme"
        end
    end
end

Jeśli chcesz, aby schemat sterowania utrzymywał się w kolejnych sesjach, prawdopodobnie musisz dodać wartość do wpisu gracza w magazynie danych.

Przeglądanie i interpretacja wyników

Kliknij Zobacz, aby zobaczyć szczegóły i wyniki. W zakładce Szczegóły i postęp możesz zobaczyć całkowitą liczbę zapisanych graczy, a także liczbę graczy, którzy otrzymali wartość kontrolną i każdy wariant. Przeglądanie tej strony na początku eksperymentu jest przydatne wyłącznie do upewnienia się, że eksperyment działa poprawnie, nie do podejmowania działań. Przed podjęciem działań zapoznaj się z Najlepszymi praktykami.

Wczesne wskaźniki szkód

Przez pierwsze 24 godziny, lub do momentu, gdy pojawią się pierwsze codzienne wyniki, wczesne wskaźniki metryk aktualizują się co 5 minut, abyś mógł szybko wychwycić niezamierzone krytyczne szkody. Kliknij Wskaźniki, aby zobaczyć te wyniki. Szukaj krytycznie szkodliwych wskaźników wyróżnionych na czerwono.

Najedź na wskaźnik i kliknij Zobacz pewność, aby zobaczyć przedział ufności.

W tym oknie wyniki testują tylko szkody, więc przedział ufności nie ma dolnej granicy, tylko górną. Wskaźnik jest oznaczany jako krytycznie szkodliwy tylko wtedy, gdy cały przedział ufności znajduje się poniżej progu krytycznych szkód. W następującym przykładzie czas gry wynosi -12,67% z górną granicą -2,73%. Mimo że szacunek jest niższy niż próg krytycznych szkód wynoszący -10% i cały przedział ufności jest poniżej 0%, wskaźnik nie jest klasyfikowany jako krytycznie szkodliwy, ponieważ przedział nie jest całkowicie poniżej progu szkód.

Używaj tych wyników tylko do kierowania decyzjami o wczesnym zatrzymaniu w ciągu pierwszych 24 godzin. Nie używaj ich do decyzji o uruchomieniu, polegaj zamiast tego na codziennych wynikach.

Progi wczesnych szkód

Każdy wskaźnik ma swój własny próg wczesnych szkód. Jeśli wzrost wariantu spadnie poniżej tego progu, zostanie sklasyfikowany jako krytycznie szkodliwy dla tego wskaźnika. Jednak w przypadku porównań wariantów wskaźników z mniej niż 10 000 zapisanych graczy w wariancie i kontroli, wzrosty wariantów są pokazywane, ale decyzje o szkodach nie będą podejmowane, dopóki rozmiar próbki nie dostarczy wystarczających danych do wiarygodnego wykrycia szkód.

Powiadomienia o wczesnych szkodach

Jeśli krytyczne szkody zostaną wykryte w twoim eksperymencie podczas okresu analizy wczesnych szkód, powiadomienie jest dostarczane do właściciela gry i właściciela eksperymentu w celu podjęcia wczesnych działań. Powiadomienia są dostarczane za pośrednictwem e-maila, powiadomień w Creator Hub oraz przez opcjonalny webhook. Po otrzymaniu powiadomienia o wczesnych szkodach powinieneś przejrzeć metryki eksperymentu i zdecydować, czy eksperyment powinien zostać zatrzymany wcześniej.

Codzienne wyniki

Po tym, jak eksperyment trwał co najmniej 24 godziny, kliknij Wyniki, aby zobaczyć najnowsze wyniki, które aktualizują się co 24 godziny. Szukaj statystycznie istotnych zmian w wskaźnikach celu, które pulpit nawigacyjny wyróżnia na zielono lub czerwono. Te zmiany są bardziej prawdopodobne, aby pokazać wpływ twojego wariantu i mniej prawdopodobne, aby były fałszywymi pozytywami lub negatywami.

Wskaźnik jest statystycznie istotny, gdy przedział ufności dla jego procentowej zmiany nie pokrywa się z 0%. W następującym przykładzie ARPU wzrasta o 2,37%, z dolnymi i górnymi granicami 0,55% i 4,19%, co czyni zmianę statystycznie istotną.

Dla wygody strona wyników pozwala na zastąpienie domyślnej wartości konfiguracyjnej jedną z wariantów z eksperymentu.

Niedopasowanie proporcji próbki

Jeśli twój eksperyment nie zapisuje użytkowników w wariantach w oczekiwanych proporcjach, w zakładce wyników eksperymentu pojawi się baner Niedopasowanie proporcji próbki (SRM). Jeśli SRM zostanie wykryte, zaleca się zatrzymanie i ponowne uruchomienie eksperymentu.

SRM jest sprawdzane co 5 minut przez pierwsze 24 godziny twojego eksperymentu, a następnie codziennie. SRM może unieważnić wyniki eksperymentu; nie podejmuj decyzji o uruchomieniu na podstawie skompromitowanych i niewiarygodnych wyników.

Podejmowanie decyzji

Gdy twój eksperyment się kończy, kliknij Podejmij decyzję, aby rozpocząć kierowany rollout. Roblox wyświetli wszelkie ostrzeżenia dotyczące istotności statystycznej i czasu trwania eksperymentu, a następnie poprosi cię o wybranie zwycięskiego wariantu lub zachowanie kontroli. W zależności od twojego wyboru, Roblox wprowadzi odpowiednią zmianę do twoich permanentnych konfiguracji; powrót do strony Konfiguracje pokazuje nową wartość. Kliknij Zmień zwycięzcę, jeśli zmienisz zdanie.

Jeśli masz nierozwiązane zmiany w konfiguracji, gdy kończysz eksperyment, Roblox tymczasowo je przechowuje i przywraca na zasadzie najlepszych starań po rolloutcie.

Twoja decyzja określa zmiany konfiguracyjne, które Roblox proponuje:

• Kontrola: Roblox nie wprowadza żadnych zmian w twoich istniejących konfiguracjach.

• Niekierowany wariant: Wartość wariantu staje się nową domyślną wartością konfiguracji. Roblox usuwa wszystkie inne warunki na tym kluczu konfiguracyjnym, chociaż pozostają one na liście globalnych warunków.

• Kierowany wariant: Roblox integruje zwycięską zasadę z powrotem do twojej permanentnej konfiguracji, używając pierwszej odpowiedniej opcji w tej kolejności priorytetowej:

  1. Nadpisz: Jeśli identyczny warunek już znajduje się na górze konfiguracji, Roblox nadpisuje jego wartość wartością zwycięskiego wariantu.
  2. Dodaj istniejący: Jeśli istnieje pasujący globalny warunek, który naturalnie znajdowałby się na górze, Roblox dodaje go do konfiguracji z wartością wariantu.
  3. Promuj: Jeśli pasujący globalny warunek można bezpiecznie promować do najniższego rangu potrzebnego, aby stał się najwyższą zasadą w tej konfiguracji (bez zmiany innych konfiguracji), Roblox dodaje go do konfiguracji i zmienia jego kolejność globalnie.
  4. Utwórz nowy: W przeciwnym razie Roblox tworzy nowy globalny warunek, który jest oceniany o jeden poziom wyżej niż najwyższy warunek obecnie używany w konfiguracji. Jeśli to tworzy zduplikowaną zasadę wewnątrz konfiguracji, Roblox usuwa zbędną wartość warunkową, zachowując globalną zasadę.

Najlepsze praktyki dla eksperymentów

• Użyj minimalnego wykrywalnego efektu (MDE), aby zdecydować, czy twój eksperyment jest wart przeprowadzenia.

  Roblox oblicza MDE na podstawie twojego wskaźnika celu i liczby graczy na wariant, co opiera się na codziennych aktywnych użytkownikach, procencie zasięgu, czasie trwania eksperymentu i podziałach wariantów. Jeśli MDE jest zbyt wysoki dla twojego wskaźnika celu (na przykład, więcej niż 100%), jest mało prawdopodobne, że osiągniesz istotność statystyczną. Gry z mniej niż 1 000 codziennych aktywnych użytkowników mogą mieć trudności z uzyskaniem użytecznych danych z eksperymentów.

  

• Zacznij od hipotezy. Zamiast po prostu zmieniać zmienną i sprawdzać wyniki, napisz stwierdzenie przyczynowo-skutkowe dotyczące tego, co zmieniłeś, czego się spodziewasz i dlaczego. W miarę przeprowadzania coraz większej liczby eksperymentów, posiadanie zestawu napisanych hipotez, które towarzyszą twoim wynikom, może pomóc w wyjaśnieniu twojego myślenia i zainspirować nowe pomysły na eksperymenty.

• Pozwól eksperymentom trwać przez pełny czas. Efekt nowości (tymczasowe zainteresowanie zmianą nie dlatego, że jest lepsza, ale dlatego, że jest nowa) może mocno zniekształcić wczesne wyniki, czasami powodując, że wchodzą i wychodzą z istotności statystycznej. Kończenie eksperymentów zbyt wcześnie zwiększa szanse na podjęcie przedwczesnych działań na podstawie anomalii, które więcej danych mogłoby wygładzić lub nawet zaprzeczyć.

  • Wyjątkiem są wczesne szkody w ciągu pierwszych 24 godzin: jeśli wskaźniki są oznaczone jako krytycznie szkodliwe lub widzisz niedopasowanie proporcji próbki, przeglądaj i rozważ zatrzymanie. Nie używaj wyników wczesnych szkód do decyzji o uruchomieniu.

• Nie działaj bez istotności statystycznej. Nawet pozornie duże zmiany w zachowaniu graczy mogą nie być statystycznie istotne, zazwyczaj z powodu małej próbki. Jeśli zmiana nie jest statystycznie istotna, zignoruj ją.

• Unikaj zmian podczas eksperymentów. Poważne błędy oczywiście wymagają poprawek, ale zmiany w treści gry mogą wpływać na zachowanie graczy i unieważnić twoje wyniki, nawet jeśli zmiany wydają się niezwiązane z twoim eksperymentem. Podobnie, uruchamiaj eksperymenty jednocześnie tylko wtedy, gdy jesteś pewien, że nie będą ze sobą współdziałać.

• Używaj przedziałów ufności do głębszych analiz wskaźników i do sprawdzania granicznych przypadków istotności statystycznej. Jeśli przedział ufności jest zbyt szeroki, wskaźnik może nigdy nie osiągnąć istotności statystycznej.

• Jeśli jeden wskaźnik znacznie wzrasta, a inny znacznie spada, musisz zdecydować, czy kompromis jest wart być może w połączeniu z innymi statystycznie istotnymi ruchami.

• Eksperymenty dostarczają silnych sygnałów, ale istotność statystyczna dotyczy prawdopodobieństw, a nie pewności - stąd przedział ufności. Zmienność danych, rozmiar próbki i wielkość zmiany wpływają na prawdopodobieństwo wykrycia, czy wariant wpłynął na zachowanie gracza. Jakiekolwiek działania, które podejmujesz na podstawie wyników eksperymentu, powinny być zrównoważone z danymi jakościowymi, takimi jak opinie graczy i twoja ogólna wizja gry.

• Dokumentuj swoje odkrycia i decyzje. Nawet jeśli nie używasz ich do przeprowadzania dodatkowych eksperymentów, posiadanie zbioru wiedzy i dowodów może informować, jak projektujesz swoje gry.