In diesem Artikel werde ich in unserem Studio IT Territory über Produktanalysen sprechen. Der Artikel besteht aus drei Teilen. Im ersten Teil werde ich Ihnen sagen, wie die Produktanalyse-Abteilung organisiert ist, wer ihre Mitarbeiter sind, was sie tun und warum alles genau das ist und nicht anders. Im zweiten Teil werde ich Beispiele für Techniken beschreiben, die wir entwickelt haben und auf alle Projekte anwenden. Im dritten Teil werde ich einige Tipps geben, die das Leben ernsthaft erleichtern und effizienter arbeiten können.

Jetzt betreibt unser Studio 11 Handyspielprojekte, zwei weitere befinden sich in der Entwicklung. Wir konzentrieren uns auf den Mobilfunkmarkt und entwickeln Shareware-Midcore-Spiele, hauptsächlich mit einer geschlossenen Wirtschaft. Das Studio befasst sich mit dem gesamten Arbeitsspektrum - von der Entwicklung über die Förderung bis hin zum Betrieb. Das Personal von 240 Mitarbeitern, Büros in Moskau und Woronesch.

Um den Platz der Produktanalyseabteilung in der Struktur des Studios zu verstehen, schlage ich vor, dieses vereinfachte Diagramm zu betrachten:



Die Produktanalyseabteilung ist die Satellitenabteilung für Projektteams sowie die Test-, Betriebs- und Marketingabteilungen. Wir arbeiten sehr eng mit allen Projekten zusammen, liefern ihnen die Ergebnisse unserer Arbeit und erhalten von den Teams Informationen über die aktuelle Situation, Pläne und Prioritäten. Gleichzeitig berichten wir an die Leitung des Studios.

1. Wer ist Produktanalyst?

Es ist Teil einer separaten Abteilung, in der jeder Analyst einem bestimmten Projekt oder Franchise zugeordnet ist. Er arbeitet mit dem Projektteam zusammen, führt Aufgaben aus und hilft bei der Entscheidungsfindung im Team und im Management. Der Analyst nutzt das Produkt aktiv, da er sonst keine Benutzererfahrung hat - eine sehr wichtige Komponente, die für die Arbeit benötigt wird. Gleichzeitig kennt der Analyst alle Prozesse, versteht also, mit welchen Problemen und Aufgaben das Projekt derzeit konfrontiert ist, und richtet seine Bemühungen auf deren Lösung aus.

1.1. Analytics-Ansatz

Wir glauben, dass wir in unserem Studio einen systematischen Ansatz für die Analytik verfolgen.



Im klassischen Design sind Analysen Teil von Projektteams. Ein solcher Mensch ist sehr tief in das Projekt vertieft, er kennt ihn gründlich. Analysten aus verschiedenen Teams kommunizieren in der Regel praktisch nicht miteinander.

In unserem System gibt es die Rolle des Abteilungsleiters, der die Anforderungen, Methoden und Werkzeuge übersetzt. Das heißt, alle Analysten in allen Projekten verwenden dokumentierte, bewährte universelle Ansätze, sind jedoch nicht nur auf diese beschränkt. Für uns ist dies ein gewisses Minimum, auf dessen Grundlage wir eine privatere und eingehendere Prüfung erhalten können. Mitarbeiter können Tools und Ansätze verwenden, die in Standardmethoden nicht erwähnt werden. Der Abteilungsleiter kontrolliert wiederum die Ergebnisse der Arbeit der Analysten, und da er selbst der kompetenteste Spezialist ist, erweitert er das Team um seine Erfahrung und sein Wissen.

Ein wichtiger Vorteil dieses Ansatzes besteht darin, dass Analysten fungibel sind. Es kommt oft vor, dass eine Person seit Jahren im selben Projekt arbeitet und schließlich ausbrennt, ihr Blick ist „verschwommen“. In einer solchen Situation ist die Übertragung auf ein anderes Projekt normalerweise sehr schwierig, da der Analyst über spezifische Kenntnisse über das Projekt und seine Infrastruktur verfügt, über die sonst niemand verfügt. Wenn jedoch die Methoden und Anforderungen gleich sind, können die Mitarbeiter nach einer kurzen Schulung zwischen den Projekten hin- und herbewegt werden, was ihnen neue Erfahrungen und Herausforderungen bietet.

1.2. Hauptaufgaben

Die Hauptaufgaben des Analysten in unserer Abteilung:

• Analyse der KPI-Änderungen während der Produktentwicklung .
• Erkennung und Untersuchung von Anomalien .
• Suchen Sie nach Engpässen und Wachstumspunkten . Dies ist eine sehr wichtige Aufgabe, die es einer Person ermöglicht, sich professionell zu entwickeln. Er selbst stellt Hypothesen auf, überprüft sie, findet neue Informationen, die niemand sonst sieht, und sammelt so Erfahrungen, die kein Führer geben wird.
• Entscheidungsunterstützung . Wir helfen Teammitgliedern bei der Beantwortung ihrer Fragen.
• Unterstützung und Entwicklung der analytischen Infrastruktur .

Ich werde Ihnen mehr über den letzten Punkt erzählen. Die Infrastruktur besteht aus folgenden Ebenen:



Auf der ersten Ebene befindet sich die Projektdatenbank, in der wir alle Daten aufzeichnen und deren Replik selbst verwenden, um Risiken für das Projekt auszuschließen.

Auf der zweiten Ebene verfügen wir über einen auf Hadoop basierenden Speicher, in dem wir Informationen aus Projektdatenbanken zur historischen Analyse sehr großer Volumina übertragen.

Die nächste Ebene sind Add-Ons über dem Repository zum Ausführen von Code. Hier können Sie alle komplexen Datentransformationen implementieren, die wir mit den Tools der vorherigen Ebenen nicht implementieren können.

Auf der letzten Ebene haben wir Visualisierung. In der Vergangenheit war die proprietäre Software QlikView dafür verantwortlich. Und Excel ist ein Klassiker, für schnelle Aufgaben verwenden wir es immer.

1.3. Produktanalystenkompetenzen

Wir markieren die folgende Liste:

• SQL und ähnliche Sprachen;
  
• Datenbankarchitektur;
  
• Programmiersprachen (Python, R, Scala);
  
• Mathematik und mathematische Statistik;
  
• Logik und Produktdenken;
  
• Fähigkeit, seine Position zu verteidigen;
  
• Kommunikationsfähigkeiten.
  

Ich möchte die letzten beiden Punkte hervorheben. Es ist allgemein anerkannt, dass der Analyst ein Introvertierter mit einem IQ über 130 ist, der 50-seitige Berichte darüber erstellt, was in seinem Verantwortungsbereich geschieht. Tatsächlich ist in unserem Paradigma der Analytiker die Person, die die Probleme und Wachstumspunkte antreibt, die er entdeckt. Im Team ist es schwierig, die Leute davon zu überzeugen, dass Sie etwas Wichtiges gefunden haben, weil jeder seine eigene vorrangige Aufgabe wahrnimmt. Aber diese Informationen einfach weitergeben und vergessen - eine solche Position passt nicht zu uns. Daher ist es für den Analysten sehr wichtig, Beziehungen im Team aufzubauen, Wege zu finden, um seine Position und seine Schlussfolgerungen zu verteidigen und die Umsetzung seiner Empfehlungen voranzutreiben.

2. Methoden

Jetzt werde ich ein wenig über Beispiele von Techniken sprechen, die wir an die Mitarbeiter der Analyseabteilung senden. Unserer Meinung nach sind die drei Säulen eines erfolgreichen Free-to-Play-Produkts Wirtschaftlichkeit, Kundenbindung und Monetarisierung. Für jede dieser Entitäten werden in der Analyseabteilung Methoden zur Bewertung und zum Vergleich mit anderen Projekten entwickelt. Sie können in drei große Gruppen unterteilt werden:

• Methoden der anfänglichen Produktbewertung . Ansätze, die in den frühen Phasen des Produktlebens relevant sind, wenn es noch keinen Kern gibt und es nur ein neues Spiel gibt, in dem ein Publikum gerade erst aufgetaucht ist.
  
• Methoden zur Bewertung von Änderungen in einem Projekt mit einem Kernel . Sie werden verwendet, um Änderungen in neuen Versionen des Spiels sowie die Auswirkungen des Hinzufügens von Funktionen und Änderungen sowohl auf den KPI als auch auf die Leistung des gesamten Produkts zu bewerten.
  
• Methoden zur Untersuchung von Anomalien . Wir entwickeln sie für eine typische Reaktion auf häufig auftretende abnormale Situationen mit Produktindikatoren. Es gibt bestimmte Ansätze, welche und in welcher Reihenfolge Sie analysieren müssen, um schnell die wahrscheinlichsten Ursachen zu finden und das Problem zu lösen.
  

Ich werde ein anderes Mal über die Anomalien sprechen, und heute werden wir über die erste Bewertung und Analyse von Änderungen unter Verwendung des klassischen F2P-Projekts mit einer geschlossenen Wirtschaft sprechen.

2.1. Erste Bewertungstechniken

Beispiele für anfängliche Bewertungstechniken:

• Aufbewahrung
  
• CARPU (LTV) für Schlüsselmärkte;
  
• FPE (Umrechnung in Zahlung);
  
• Feststartkonvertierung (Tutorial);
  
• Punkte des Fortschritts, die den Rückzug verursachen;
  
• Fortschrittspunkte, die Zahlungen anregen;
  
• Zufluss und Abfluss von Ressourcen im Kontext von Fortschritt und / oder Lebensdauer;
  
• WinRate erste Versuche + Anzahl der Versuche vor erfolgreichem Abschluss.
  

Ich werde Ihnen etwas mehr über einige davon erzählen.

2.1.1. Die Wirtschaft der ersten Lebenstage

Wir haben gerade ein neues Produkt in der Version eingeführt und möchten den aktuellen Stand der Hartwährungswirtschaft bewerten. Es gibt eine ziemlich einfache Möglichkeit, das Gleichgewicht der Nachfrage nach einer solchen Ressource auf höchster Ebene zu bewerten. Lassen Sie die kumulierten Ausgaben im Spiel in den ersten Lebenstagen so aussehen:



Die X-Achse repräsentiert den Lebenszyklus. Das kumulierte Einkommen ist kostenlos, dh unsere Gesamtkosten übersteigen das spezifische Einkommen pro Benutzer. Wir haben also einen Mangel an dieser Ressource, die durch den Kauf geschlossen wird. Dies ist der erste, allgemeinste Schnitt. Dann teilen wir es in Quellen auf und suchen, woher das erhöhte freie Einkommen kommt. Die allgemeine Regel lautet: Wenn die Ausgaben das freie Einkommen übersteigen, haben Sie eine Nachfrage. Sie können das Volumen anhand des Verhältnisses von Ausgaben und freiem Einkommen anpassen. Wenn Ihr freies Einkommen die Stückkosten pro Benutzer abdeckt, zahlen höchstwahrscheinlich nur diejenigen, deren Kosten sehr hoch sind. Das heißt, sehr treue Benutzer, aber nicht die Gesamtmasse.

2.1.2 Umwandlung des Fortschritts

Einer der wichtigsten Aspekte für ein Spiel ist die primäre Aufbewahrung. In den ersten Minuten nach der Installation lernen die Leute das Spiel kennen und entscheiden, ob sie es spielen oder nicht. Die meisten Projekte verlieren in den ersten 30 Minuten die Hälfte des Publikums. Wie kann ich schnell Probleme finden, mein Publikum zu halten? In Bezug auf den Fortschritt verwenden wir dazu einen klassischen Trichter:



Wir erstellen ein Diagramm der Anzahl der Benutzer, die bestimmte wichtige Punkte erreichen. Die Grafik zeigt ausgeprägte Abfälle an den Punkten 4, 10 und 20. Wenn Sie die relative Umrechnung von Punkt zu Punkt berechnen, sehen Sie sofort Einbrüche, bei denen die Umrechnung relativ zu benachbarten Punkten stark abfällt. Die Gründe sind unterschiedlich: Probleme in UX, das Problem der Auswahl zwischen verschiedenen Modi, wenn Benutzer nicht Ihrer Strategie entsprechen, sondern PvP oder andere Modi wählen, Komplexität, technische Fehler usw. Im Allgemeinen sind dies jedoch die Punkte, auf die Sie sofort achten sollten, da sie Benutzer dazu veranlassen, die Fortschrittskurve Ihrer Wahl entweder zu verlassen oder nicht darauf zu reagieren.

2.1.3 Pflege- und Zahlungspunkte

Hier ist ein Beispielprojekt, in dem diese Punkte sehr ausgeprägt sind:



An bestimmten Punkten im Fortschritt der Spieler kommt es zu Zahlungsausbrüchen und Benutzerabhebungen. Der Grund ist, dass die Leute in diesen Momenten mit der Tatsache konfrontiert sind, dass es unmöglich ist, sich im Spiel weiter zu bewegen, bis Sie eine bestimmte Anzahl von Punkten gesammelt haben. Infolgedessen nutzen der schwache Urlaub und diejenigen, die das Spiel schlecht schlagen und gleichzeitig Zeit sparen möchten, kostenpflichtige Funktionen.

Nachdem das Team diese Informationen erhalten hat, sollte es an der Bilanz arbeiten, um so wenig Menschen wie möglich zu verlieren und gleichzeitig die Zahlungen zu maximieren oder zu sparen.

2.1.4. Wichtige Monetarisierungsprobleme

Das Thema Monetarisierung ist sehr umfangreich. Wir gehen jedes Projekt einzeln an und glauben, dass die Monetarisierung vom Design herrührt und kein universeller Ansatz ist, der überall angewendet werden kann. Zusammenfassend können unsere Methoden in den Fragen ausgedrückt werden, die wir stellen, und die Anwendungspunkte der Bemühungen hängen von den Antworten auf diese Fragen ab.

Welches Produkt wandelt einen Benutzer am besten in einen zahlenden um? Wir hatten ein Projekt, das am Anfang sehr gut "geschossen" hat. Aber nur wenige Monate nach Erhalt des Feature'ov, nachdem ein ausreichend großes Publikum verdaut worden war, begann das Einnahmenprojekt zu sinken, und das ziemlich ernst. Er hatte einen guten Halt für das Midcore-Projekt und das Gameplay war ziemlich schwierig. Aufgrund der Zahlungen des Kernpublikums hatten wir nicht genug bezahlte Masse, um das Projekt auf ein finanzielles Plateau zu bringen.

Wir haben beschlossen, dass wir die erste Zahlungsbarriere für die meisten Benutzer überwinden müssen. Wir haben exklusive Inhalte ausgewählt, die weder für Spielwährung noch für Geld verkauft wurden, und den niedrigstmöglichen Preis dafür festgelegt. Natürlich war dieser Inhalt kein Ultimatum und deckte nicht alle Bedürfnisse des Spielers ab. Wir haben es gleich zu Beginn einer erschwinglichen Monetarisierung im Spiel angeboten und auf einen Schlag den Anteil der Zahlungen um ein Drittel erhöht, während wir die durchschnittliche Rechnung beibehalten haben.

Je früher der Benutzer in die Kategorie des Bezahlens einsteigt, desto größer ist der Integral seiner Einnahmen im Spiel. Bitte beachte, dass jedes Spiel seinen eigenen Inhalt hat, der dieses Problem am besten löst. Wenn in anderen Spielen das gleiche in der Stirn zu tun ist, dann kann man nicht raten. Es ist sehr wichtig zu verstehen, dass eine Person im Spiel wirklich weiß, welche Inhalte in dieser Phase gefragt sein werden und wie ein Schlag auf die Gesamtwirtschaft und das Gleichgewicht vermieden werden kann.

Welcher Anteil der Benutzer konvertiert in späteren Phasen des Spiels zum Bezahlen? Wenn Sie nach dem 30. Tag Ihres Lebens viele neue Zahler haben, erhalten Sie höchstwahrscheinlich weniger Geld. Diese Leute spielen seit einem Monat, sie haben bereits kurz- und mittelfristige Ziele erreicht. Gleichzeitig hatten sie nicht genug Motivation, um mit dem Bezahlen zu beginnen. Und in den späteren Stadien erschien sie plötzlich. Ich möchte Sie daran erinnern, dass wenn ein Benutzer zu spät konvertiert, sein spezifischer Umsatz im Vergleich zu der Situation, in der er in den ersten Tagen des Projekts konvertiert hat, abnimmt. Daher ist es notwendig, die Motivation für die Spieler zu finden, frühzeitig auf das Bezahlen umzusteigen.

Wie viele Benutzer werden in zwei Käufe, drei usw. konvertiert? Wenn wir ein Produkt entwickelt haben, das Benutzer frühzeitig perfekt umwandelt und viele neue Zahler erhält, entsteht die nächste Barriere. Zwischen einem solchen Produkt und dem Rest Ihrer Angebote kann es zu einer großen Preislücke kommen, und für Benutzer, die ein gutes Produkt für einen Dollar gekauft haben, erscheinen alle anderen Angebote unrentabel. In einer solchen Situation ist es notwendig, über die Kette nachzudenken: Was wird der nächste Schritt des Spielers sein, der ein vollwertiger Zahler werden sollte? Wenn er ein sehr profitables Produkt billig kauft, ist es notwendig, ihm verschiedene Angebote zu unterbreiten, die den Scheck schrittweise vergrößern, dem Benutzer jedoch jedes Mal eine neue Qualität verleihen.

Gibt es eine klare Strategie zur Erhöhung der Scheckgröße? Es reicht nicht aus, nur Benutzer zu konvertieren, da es offensichtlich ist, dass sich solche Leute zu einem ziemlich günstigen Angebot gekauft haben. Es ist wichtig, eine Strategie richtig zu entwickeln, damit jedes nachgefragte Produkt einer anderen Preiskategorie zugeordnet wird. Ich spreche nicht sofort von großen Beträgen, aber Sie haben eine Metrik wie den durchschnittlichen Scheck für den Zahler. Eine Person, die von einem günstigen Angebot konvertiert ist, muss dazu gebracht werden. Dies ist möglich und die meisten Menschen weigern sich aus psychologischen Gründen, zu zahlen.

Gibt es einen Prozess, bei dem Zahlungen abgelehnt werden, während die Aktivität aufrechterhalten wird? In vielen Spielen passen sich die Spieler in den späteren Phasen des Projektlebens an die Wirtschaft an, passen ihre Bedürfnisse an ihre Fähigkeiten an und gehen in die Phase über, in der sie nicht das Nötigste bezahlen oder kaufen. Hier müssen Sie in Bezug auf das Spieldesign arbeiten. Dies kann bedeuten, dass das Gameplay zu eintönig und langfristig ist, zu wenig motivierende Herausforderungen. Aufgrund des Kerns der Benutzer kann das Spiel jedoch sehr gut wachsen und sich als Geschäftsprojekt entwickeln.

Dies sind natürlich nicht alle wichtigen Aspekte des Monetarisierungsansatzes. Weitere Arbeiten hängen jedoch stark von den Nuancen des Produkts ab.

2.2. Bewertung von Produktänderungen

Lassen Sie uns nun über Methoden zur Bewertung von Produktänderungen sprechen. Das:

• [Alle Methoden der Erstbewertung] +
  
• Metriken zur Flussmonetisierung: DPU, ARPPU, ARPDAU;
  
• winzige Rollretention;
  
• Zu- und Abfluss von Ressourcen in der Dynamik;
  
• Abwanderungsrate;
  
• durchschnittliche Aufenthaltsdauer in der Bewerbung;
  
• Dynamik der Schlüsselaktivitäten;
  
• ausgewogene Ressourcen.
  

Ich werde auf einige der Techniken eingehen.

2.2.1. Minute Rolling Retention

Die fortlaufende Aufbewahrung pro Minute ist ein guter Weg, um schnell zu verstehen, ob zu Beginn des Spiels technische oder gestalterische Probleme zu Beginn auftreten.
Schauen wir uns den Zeitplan des ersten Projekts an:



Logarithmische Kurve, alles ist klar: Je länger ein Spieler im Spiel ist, desto unwahrscheinlicher ist es, dass er das Spiel verlässt. Das zweite Projekt ist ebenfalls gesund, aber das Ergebnis ist etwas besser. Nach einer Stunde haben wir mehr Benutzer. Und dann haben wir Änderungen am zweiten Projekt vorgenommen, das etwas kaputt gemacht hat - der Zeitplan hat sich geändert.

Es ist hier wichtig, dass wir einen Abschnitt haben, in dem sich die Abhängigkeit der Wahrscheinlichkeit, die im Spiel verbrachte Zeit zu verlassen, dramatisch ändert. Ein solches Bild deutet darauf hin, dass wir etwas kaputt gemacht haben. Vielleicht begann das Spiel instabil zu funktionieren, oder wir haben die Benutzererfahrung ruiniert. In jedem Fall müssen Sie herausfinden, was die Spieler in diesen Momenten des Spiellebens tun, und die Ursache für die Verschlechterung der Retention finden.

2.2.2. Abwanderungsrate oder Abflussrate

Wir nennen die Abwanderungsrate etwas anders als die Branche unter diesem Begriff versteht. Als sich die Aufgabe ergab, den Abfluss genau eines aktiven Publikums zu bewerten, dh, es war notwendig, nicht von der Registrierung, sondern von der Aktivität des aktuellen Benutzerkerns auszugehen, haben wir unsere Abwanderungsrate „ermittelt“. Wir berechnen es so: Für jedes Datum zählen wir die Spieler, die aktiv waren, und sehen dann, wie viele von ihnen während einer bestimmten Zeit nicht mehr angemeldet waren, dh das Spiel verlassen haben. So erhalten wir die statistische Wahrscheinlichkeit, dass ein Spieler an einem bestimmten Tag mit den angegebenen Parametern abreist.

Normalerweise analysieren wir den Abfluss nach Höhe, Alter und Zahlungsstatus. Ein starker Anstieg der Metrik deutet darauf hin, dass die Wahrscheinlichkeit, dass Spieler dieses Segment verlassen, gestiegen ist, und Sie müssen nach Gründen suchen. Wenn die Abwanderungsrate nach einer spürbaren Aktualisierung stetig erhöht wird, ist es sinnvoll, den Alarm auszulösen.

2.2.3. Zu- und Abfluss von Ressourcen

Die Idee ist ungefähr die gleiche wie bei der Methodik zur Bewertung der Wirtschaftlichkeit eines neuen Projekts, nur dass wir jetzt einen Kern haben, der Spielzyklen zum Erhalten und Ausgeben von Ressourcen hat.



Die gelbe Linie ist Ausgaben, die schwarze Linie ist freies Einkommen. Es gibt einen großen Unterschied zwischen ihnen, Einnahmen sind niedriger als Ausgaben. Delta ist ein Defizit, das die Nachfrage nach unseren gehandelten Ressourcen erzeugt. Ich habe mehrere Projekte getroffen, bei denen die Situation völlig anders war: Sie werden nur auf Kosten großer zahlender Benutzer monetarisiert. Wenn Ihre Stückkosten für eine monetisierte Ressource das spezifische freie Einkommen überschreiten, ist dies im Allgemeinen eine gesunde, knappe Wirtschaft.

3. Tipps

3.1. Langfristige Trendglättung

Angenommen, wir folgen einigen wichtigen Parametern. Zum Beispiel LTV (kumulative ARPU) für 30 Tage für ein neues Publikum. Es ist schwer damit zu arbeiten. Er ist sehr empfindlich gegenüber großen Zahlern, hat eine hohe Streuung, so dass sein Zeitplan für aufeinanderfolgende Kohorten in der Dynamik völlig unrepräsentativ aussehen wird. Wir können diesen Parameter nach Monaten oder Gruppen aufschlüsseln, aber das ist nicht ganz das, was wir in der Dynamik sehen wollen.

Es gibt einfache Ratschläge, wie solche Indikatoren effizienter analysiert werden können: Wir wenden eine Gleitglättung an. Zu diesem Zweck betrachten wir an jedem Punkt den Gesamtwert des Parameters zusammen mit mehreren vorherigen. Das Fenster zum Glätten kann unterschiedlich sein: 7 Tage, 30 Tage oder mehr. Je größer das Fenster, desto weicher die Dynamik und desto weniger Einfluss von Schwankungen, aber desto längerfristig müssen Trends vorhanden sein, um sie klar erkennen zu können.



Wir haben einen guten, leicht wahrnehmbaren Indikator, der die physische Bedeutung behält. Gleichzeitig ist am Ende des Diagramms leicht ein Rückgang zu erkennen.

3.2. A / B-Tests

Wir lieben A / B-Tests. Wir haben ein Projekt, in dem wir in nur 2 Jahren 70 vollwertige A / B-Tests durchgeführt haben. Wenn wir unsere Erfahrungen in einem bestimmten Druck zusammenfassen, können wir Folgendes sagen:

• A / B-Tests sind der ehrlichste (realistischste) Weg, um Hypothesen zu testen.
  
• Es ist am besten, sie in einem neuen Publikum zu machen. Wenn Sie eine Funktion testen, die das alte Publikum bereits gesehen hat, und dann eine neue Option anzeigen, sind Wahrnehmung und Reaktion nicht mit denen identisch, die die Funktion nicht gesehen haben. Höchstwahrscheinlich ist die Reaktion negativ und öffentlich und kann die Testergebnisse beeinflussen. Nur in Einzelfällen mit Unterschieden, die für die Spieler oder in bestimmten Situationen nicht offensichtlich sind, können Tests für das gesamte Publikum durchgeführt werden.
  
• . , . , , . A/B-.
  
• A/B-, , . , , .
  
• A/B-. . A/B-. , .
  
• A/B-, , . , . , . .
  

3.3.

, -. , , . , , .

, :



, , . , ? , , .



, , , . , , , .

, - :

• -, . «ARPU ».
  
• baseline. . « », , .
  
• . .
  
• . , . - , , , . .
  
• . , , - , .
  
• . , ? - .
  
• . - . , , . , , , . , , , . , - . , -, . , , .
  

4.

1. — !
   
2. !
   
3. , !
   
4. A/B- !
   
5. !