Kära Forge-fans
På senare tid har vi fått synpunkter angående tester och hur vi genomför dem. Speciellt kommentarer om Forge Plus och Daglig Utmaning-uppdateringen.
Därför tänkte vi att det skulle vara insiktsfullt för dig att ha mer information om vårt förhållningssätt till tester och varför dessa är en del av utvecklingen av Forge of Empires.
Låt oss börja med en definition av ett A/B-test.
Ett A/B-test är ett branschstandardtest som ofta används av utvecklare för att övervaka spelarens reaktion på en funktion. Med sådana tester väljs två eller flera grupper slumpmässigt ut.
De består av en testgrupp (grupp 'A'), som kommer att få tillgång till en funktion, och en kontrollgrupp (grupp 'B'), som inte gör det.
Genom denna jämförelse kan utvecklare direkt övervaka förändringen i spelarbeteende och bedöma effekten av den testade funktionen.
Det gör vi via både kvantitativ och kvalitativ återkoppling. Och vi måste överväga båda, men försök att komma ihåg att forumkommentarer bara är en del av många områden som vi får synpunkter från.
Som t.ex. den senaste uppdateringen av Daglig utmaning. Med båda grupperna i åtanke kan vi jämföra många aspekter (som t.ex. dagligt spelande, frekvens av användare med funktionen, etc). Det hjälper oss att fastställa om denna förändring var fördelaktig och attraktiv för våra spelare som ett nytt erbjudande.
Om resultaten inte visar en positiv trend kan vi gräva djupare och kontrollera om det var något problem. I slutändan blir det att vi antingen kan justera funktionen eller radera den helt.
Det är därför A/B-tester är viktiga för oss. De ger oss tillgång till mer meningsfull data baserat på en riktig/aktiv testmiljö.
Med denna data kan vi sedan förfina våra funktioner och identifiera potentiella problem.
Genom att släppa en ny funktion till en mindre grupp användare kan vi dessutom övervaka feedback mer effektivt och förhindra den potentiella frustration som skulle kunna hända om vi skulle släppa funktioner till alla spelare direkt.
Forge of Empires är förstås ett stort spel. Det finns hundratusentals spelare fördelat på många världar. Men det betyder också att mycket kan gå fel.
A/B-tester är ett absolut måste om du vill minska den potentiella risken med att avslöja en ny funktion för en så stor publik.
Konsekvenserna av att släppa en oprövad funktion kan orsaka negativa interaktioner med spelet – både för oss och för dig.
Det är också viktigt att betona att A/B-tester inte är selektiva. Inga spelare kommer att upprätthålla någon typ av långsiktig fördel eller bli förvald till testgruppen.
Du har märkt att det finns vissa funktioner som vi inte kan A/B-testa eftersom fördelarna skulle vara för stora för att vara rättvisa, och vi vill upprätthålla rättvisa i spelet.
Urval för tester är rent slumpmässigt, och rättvisa är inte den enda anledningen till detta; det beror också på att ett randomiserat element är en integrerad del av kvaliteten på testresultaten.
Vi hoppas att detta klargör varför A/B-testerna är nyckeln till vår utvecklingsstrategi och kommer att förbli så även för framtida uppdateringar.
Vänligen,
Ditt Forge Team
