Ist der Pinterest-Weg zur Messung von Anzeigen der richtige Weg?

Ein hochmodernes Data-Science-Modell kann nur erstellt werden, wenn die Auswirkungen richtig gemessen werden. Pinterest hat die von allen bevorzugte Metrik zur Wirkungsmessung, CTR, aktualisiert, nachdem die Probleme sorgfältig analysiert wurden.

Jede Datenperson liebt die CTR-Messung so wie sie ist:

  • Der Führung ist es einfach zu erklären, Produktmanager stellen es nicht in Frage, und es ist einfach zu messen: Teilen Sie die Anzahl der Klicks durch die Gesamtzahl der Impressionen.
  • CTR-Daten sind leicht verfügbar, sodass sie einfach zu berechnen, zu verfolgen und zu analysieren sind.
  • Und als Bonus möchten viele Werbetreibende auch hohe CTRs haben. Sie haben also Ihre Inserenten- und Benutzerinteressen aufeinander abgestimmt!

Werfen Sie also einfach viel fortschrittliches maschinelles Lernen auf das Problem, um CTRs vorherzusagen und zu maximieren, und Sie sind fertig, richtig? Nicht so schnell!

CTR leidet unter einigen schwerwiegenden Mängeln. „CTR ist nicht der Schlüssel zum Nutzerengagement.“

CTR meldet nur Klicks auf ein bestimmtes Element, unabhängig davon, ob es relevant ist oder nicht. Einige mögen behaupten, dass der Benutzer geklickt hat, weil der Inhalt oder die Anzeige relevant war, aber das ist nicht immer der Fall; Dies kann auf Positionsverzerrung, Clickbait oder andere Faktoren zurückzuführen sein. Auf diese Mängel wird weiter unten näher eingegangen. Die CTR ist nur nützlich, um kurzfristige Gewinne ohne Berücksichtigung des Nutzerengagements zu messen. Aus diesem Grund benötigen wir eine Metrik, um die Benutzerinteraktion zu verfolgen.

„Du kannst alle Menschen eine Zeit lang und manche Menschen die ganze Zeit täuschen, aber du kannst nicht alle Menschen die ganze Zeit täuschen“ – Abraham Lincoln

Problem 1 – Positionale Voreingenommenheit

Anzeigen weiter oben auf der Seite werden eher angeklickt, aber das bedeutet nicht, dass der Benutzer sie wertvoller findet. Wenn Sie dies nicht berücksichtigen, können Sie daraus schließen, dass Benutzer die Anzeigen oben auf der Seite bevorzugen, während sie in Wirklichkeit eher dazu neigen, ihnen Aufmerksamkeit zu schenken.

Problem 2 – CTR fördert Clickbait

Elemente mit einer hohen Klickrate (CTR) können „Clickbaity“ sein – sie verleiten den Benutzer zum Klicken, ohne etwas Hilfreiches zu bieten, und senden ihn stattdessen zu mit Werbung geladenen Diashows, die Einnahmen für den Werbetreibenden generieren, aber den Benutzer verärgern.

Problem 3 – CTR ignoriert andere Signale

CTR impliziert keine positive Interaktion. Die Person kann diesen bestimmten Inhalt immer noch verachten. Hide Ads oder Drop-offs sind starke Hasssignale, die CTR nicht berücksichtigt.

1660502919079.png

Oben sehen Sie ein Google Ads-Beispiel, um explizites Feedback von Nutzern zu erfassen, das nicht gefällt. Es hat keinen Sinn, eine Anzeige mit starkem Abneigungssignal und hoher CTR zu zeigen; es wird den Benutzer eines Tages von der Plattform abbringen.

Problem 4 – Einige Dinge sollten nicht angeklickt werden

Anzeigen, die keinen Klick erfordern, z. B. ein Video, Markenbekanntheit oder Pitch-Anzeigen, z. B. ein Rabatt zum Unabhängigkeitstag in einem Geschäft in der Nähe oder ein kurzes Video von der Markteinführung eines neuen Autos.

Okay..! Wir haben jetzt die Probleme mit CTR aufgelistet, aber was ist die Lösung?

Über die CTR hinausgehen

Sie passten ihre Messwerte zur Anzeigenmessung an, um die zuvor erwähnten Schwierigkeiten mit der Klickrate zu beheben. Eine Metrik, die das Engagement berücksichtigt und die Benutzererfahrung genauer erfasst.

Benutzermetrik:

0_MLg3PS3gM4wFwVcv.png

Lassen Sie uns zuerst den Zähler besprechen – Weighted Engagement on Ads

Anstatt nur die CTR zu betrachten, betrachten wir einen gewichteten Durchschnitt verschiedener Aktionen – unter anderem Klicks, Ausblendungen (Werbung stoppen), Wiedergabezeit (bei Videoanzeigen) und Speicherungen – für die Anzeigen.

Betrachten Sie zwei Anzeigen: B wird häufiger angeklickt als A, aber sie wird von viel mehr Leuten ausgeblendet.

1_E-uKqR4MDzR4z-vBu7YmSQ.png

Fazit – Man kann leicht schlussfolgern, dass Anzeigentyp A Anzeigentyp B überlegen ist, da er mehr Engagement erhält und weniger Benutzer sich verstecken oder die Verbindung trennen, während CTR allein das gegenteilige Bild zeigt.

Wenn wir die Aktionen und Gewichtungen sorgfältig auswählen, können wir die Bedenken 2, 3 und 4 mit CTR ansprechen.

Auf den Nenner kommen – Gewichtetes Engagement für benachbarte organische Inhalte

Um Problem 1 (Positionsverzerrung) anzugehen – Wir müssen etwas tiefer graben und verstehen, dass die CTRs bei Anzeigen und organischen Inhalten sinken, wenn Benutzer durchscrollen.

LERNEN (Dies trifft auf die meisten Unternehmen zu) – Wenn eine Anzeige oder ein Feed-Inhalt auf der 10. Position des Karussells eine ähnliche CTR wie eine auf der 1. Position erzielt, bedeutet dies, dass die Anzeige auf der 10. Position besser ist. Man kann diese Hypothese des Positionsverzerrungsproblems auch mit A/B-Tests auf der Plattform überprüfen.

Um die Auswirkung der Positionsverzerrung auf den Anzeigeninhalt zu normalisieren, vergleichen wir die durchschnittliche Engagement-Rate für Anzeigen mit der des organischen Inhalts in den Werbespots davor und danach. Hier kommt der Nenner ins Spiel.

0_gDKppEqoxdVv8qTU.png
Positional Bias Normalize with Organic Content Neighbors

Experimentieren mit der obigen Einrichtung und Messmetrik für neue Anzeigen

1_aE0TrQUC0nZC67IVH35qRg.png
Vergleichen Sie die CTR mit dem neuen Anzeigenmesswert

Aus der obigen Tabelle können wir ableiten, dass die Behandlung eine niedrigere CTR als die Kontrolle hat, aber viel besser in Bezug auf unsere gewichtete Engagement-Metrik.

Fazit

Ich verstehe, dass es schwierig sein kann, diese neue Metrik zu verdauen und praktisch anzuwenden, da CTR seit langem verwendet wird, um die Relevanz von Anzeigen und Inhalten zu messen, aber Veränderungen bringen Wachstum.

HINWEIS: Wenn Ihr Anzeigenmonetarisierungsmodell ausschließlich von CTR abhängig ist, können Sie Klicks ein höheres Gewicht beimessen, wenn Sie gewichtete Engagement-Scores verwenden, aber Engagement-Aspekte zu streichen und sich ausschließlich auf CTR zu verlassen, würde die Benutzer auf lange Sicht unzufrieden machen.

Bezug

Eine bessere Klickrate: Wie Pinterest die beliebteste Engagement-Metrik von Philip Apps verbessert hat

Gibt es etwas, das Sie hinzufügen möchten? Bitte zögern Sie nicht, Ihre Ansichten und Ihr Feedback im Kommentarbereich unten mitzuteilen.

Verbinden, folgen oder unterstützen Sie mich auf LinkedIn wenn Sie diese Lektüre nützlich fanden. Um mehr über mich zu erfahren: besuchen Hier

Dieser Newsletter wird jetzt von mehr als 4500+ Abonnenten gelesen. Wenn Sie ein KI- oder Datenprodukt oder -dienst entwickeln, sind Sie eingeladen, Sponsor einer der zukünftigen Newsletter-Ausgaben zu werden. Wenden Sie sich gerne an [email protected] für weitere Details zu Patenschaften.

Ich bin nominiert für die HackerNoon 2022 Noonies, stimme für mich ab:

1:1-Meeting hier verbinden:

Buchempfehlungen zu Data Science:

[1] Das Buch des Warum

[2] Nackte Statistiken

Auch veröffentlicht hier

Similar Posts

Leave a Reply

Your email address will not be published. Required fields are marked *