Wie würden Sie diese App bewerten? Erzählen Sie etwas über dieses Produkt! Wie zufrieden waren Sie mit unserem Mietwagenservice? Diese und ähnliche Sätze werden den meisten bekannt vorkommen. Sie begegnen uns ständig im Alltag und sind gerade im E-Commerce, bei digitalen Services und im Onlinemarketing ein integraler Bestandteil des Geschäftsmodells. Denn Kunden- und Nutzererfahrungen sind insbesondere im B2C-Business Gold wert.

Ziel der bekannten Kundenumfragen sind in der Regel entweder das Erkennen von Schwachstellen im Produkt oder die Generierung des sogenannten „electronic word of mouth“ (eWOM), also zu Deutsch „Mundpropaganda“.  Diese Ziele schließen sich nicht automatisch aus, jedoch kann die Strategie wie, wo und wann der Kunde nach Feedback gefragt wird, unterschiedlich ausfallen.

Kundenbefragung zur Generierung von Electronic Word of Mouth

Für die Generierung des eWOM ist es unumgänglich, dass öffentliche Foren fokussiert werden und das eingeholte Kundenfeedback von anderen potenziellen Kunden gelesen werden kann. Dabei wird typischerweise versucht, die drei Faktoren „volume“, „valence“ und „dispersion“ zu maximieren.

• Volume ist die gesamte Menge an generiertem Kundenfeedback.

• Valence ist die Stimmung (auch „sentiment“ genannt) des Kundenfeedbacks.

• Dispersion ist der Verbreitungsgrad von Feedback über mehrere Plattformen hinweg.

Im Idealfall generiert ein Unternehmen also eine große Menge an positivem Feedback auf mehreren Plattformen. Somit können Kundenumfragen als Marketingtool eingesetzt werden und fungieren im besten Fall wie ein Vertrauensvorschuss für potenzielle Kunden. Beispiele hierfür sind zum Beispiel Produktrezensionen, die authentische Erfahrungen echter Kunden spiegeln und die Kaufentscheidung maßgeblich beeinflussen können.

Kundenbefragung zur Sammlung von Produktverbesserungen

Um Produktschwachstellen zu erkennen, muss das Kundenfeedback nicht zwangsläufig veröffentlicht werden. Es kann auch anonym gesammelt werden, denn die Erkenntnisse aus dem Feedback dienen ausschließlich zur internen Weiterentwicklung. Welche Art von Feedback nützlich ist, unterscheidet sich hierbei zum marketing-orientierten Einsatzzweck: während Marketing positives Feedback präferiert, kann die Auswertung kritischer Bewertungen bei der Produktverbesserung deutlich mehr Wert zeigen.

Diese Art der Auswertung von Kundenfeedback ist für verschiedene Unternehmen interessant:

• Unternehmen mit einem iterativen Produktentwicklungsprozess, in dem das Produkt ständig weiterentwickelt wird und Erkenntnisse aus der letzten Generation in die neue Generation einfließen.

• Unternehmen, die eine langfristige Dienstleistung anbieten und Probleme und Optimierungspotenziale entlang ihrer Prozesse aufdecken wollen.

Mit bestimmten Methodiken ist es möglich, Kundenfeedback systematisch auszuwerten und Produktverbesserungen abzuleiten. Im Folgenden werden wir anhand eines Beispiels erleuchten, mittels welchen Anforderungen, Methoden und Technologien ein solches System integriert werden kann.

Customer Sentiment Analysis

Was ist eigentlich ein Kundenfeedback und wie können Inhalte eines Feedbacks klassifiziert werden? Mit diesen Fragen beschäftigt sich der Forschungsbereich der „Customer Sentiment Analysis“. Dieser Begriff beschreibt das Themengebiet rund um die Analyse von Kundenmeinungen zu Marke, Produkt, Thema, oder Dienstleistungen und ist zentral in der Data Science verankert. Die Customer Sentiment Analysis vereint Algorithmik, Psychologie und Linguistik, um systematisch Informationen aus Kundenfeedback zu gewinnen.

Folgende Begriffe sind relevant, um zu verstehen, wie Feedback, zum Beispiel aus einem Online-Review, systematisch analysiert werden kann:

• Meinung (engl. opinion): Ein Online-Review kann mehrere Meinungen enthalten. Eine Meinung hat zwei Bestandteile, ein Meinungsziel und eine Stimmung

• Meinungsziel (engl. sentiment target): Das ist die Entität, über die der Meinungsinhaber seine Meinung äußert. Wird manchmal auch als Thema oder „topic“ bezeichnet.

• Stimmung (engl. sentiment): Die Stimmung liegt in einem Spektrum zwischen Positiv und Negativ.

• Meinungsinhaber (engl. opinion holder): Die Person, die eine Meinung äußert. Das muss nicht unbedingt dieselbe Person wie der Autor des Reviews sein.

• Meinungszeitpunkt (engl. time of opinion): Der Zeitpunkt an dem die Meinung geäußert wurde. Das ist vor allem dann notwendig, um Meinungsänderungen nachvollziehbar zu machen. Man kann so allerdings zum Beispiel auch feststellen, welche Produktversion hier rezensiert wurde.

Zusammengefasst erstellt ein Meinungsinhaber zum Beispiel ein Online-Review zu einem definierten Zeitpunkt. Dieses Review enthält eine oder mehrere Meinungen. Jede Meinung enthält ein Meinungsziel mit einer zugeordneten Stimmung. Anhand eines Beispiels kann diese Theorie angewendet werden:

„(1) Insgesamt bin ich mit dem Fahrzeug zufrieden, aber es gibt einige Punkte, die mir und meiner Frau nicht gefallen. (2) Ich liebe den extrem gemütlichen Innenraum. (3) Was mir wirklich auf den Zeiger geht, ist der empfindliche Lane-Keep Assistent. (4) Meiner Frau ist die Ladekante am Kofferraum zu hoch.“

Dieses Review enthält vier Meinungen:

Es macht einen grundsätzlichen Unterschied, ob eine Meinung aus einem rationalen Standpunkt heraus geäußert wird, oder ob Emotionen die Meinung beeinträchtigen. Zusammen mit der generellen Stimmung ergibt sich so ein breites Spektrum, auf welchem die abgegebene Meinung eingeordnet werden kann. Es gilt also, die Stimmung des Meinungsinhabers möglichst exakt einzufangen.

Analyse-Methoden der Customer Sentiment Analysis

Übergeordnetes Ziel der Analyse ist es, die Meinungen zu klassifizieren, zum Beispiel nach Meinungsziel, Stimmung, oder Meinungsinhaber. Dafür lassen sich generell zwei Herangehensweisen unterscheiden:

• Regelbasierte Analyse: Zum Beispiel mit Hilfe eines sogenannten Sentiment Lexicon. Hier werden Regeln übergeben, die auf menschlicher Expertise beruhen. Zum Beispiel welche Adjektive eine positive oder negative Konnotation haben. Diese Modelle haben jedoch typischerweise Probleme Kontext richtig einzuordnen. Das Wort „lang“ kann zum Beispiel im Kontext von „langer Akkulaufzeit“ positiv sein. Im Kontext von „langer Ladezeit“ ist „lang“ negativ konnotiert.

• Statistische Modelle: Diese Modelle basieren darauf, Wahrscheinlichkeiten zwischen Wörtern zu berechnen. Anhand dieser Wahrscheinlichkeiten kann eine Klassifizierung vorgenommen werden. Häufig müssen diese Modelle trainiert werden. In diesen Fällen wird ein Datensatz gelabelt, um eine Grundwahrheit zu erstellen. Basierend darauf werden bekannte Beziehungen zwischen Wörtern erstellt. Wenn das Modell mit neuen Daten gefüttert wird, können die bekannten Beziehungen auf die neuen Daten angewandt werden. Statistische Modelle sind also etwas aufwändiger zu trainieren, liefern aber zuverlässigere Ergebnisse. Es gibt aber auch Modelle, die keine Labels benötigen. Man spricht hier von unsupervised- oder zero-shot-learning. Ein Vertreter dieser Klasse sind zum Beispiel Large-Language-Models, kurz LLMs.

Herausforderungen in Customer Sentiment Analysis

Die Erkennung sarkastischer Äußerungen sind für herkömmliche Methoden nicht trivial. Bei einer wortwörtlichen Interpretation der Aussage klingt die Meinung hier erstmal positiv. Ebenso herausfordernd sind rhetorische Fragen, da sie als ernst gemeinte Fragen missverstanden werden können. Auch die generelle Stimmung und Emotionslage des Meinungsinhabers beeinflusst die Objektivität einer Meinung. Hier ist ein Mechanismus gefragt, der diese Aspekte erkennen und dementsprechend einordnen kann. Auch der Umgang mit multilingualen Daten ist nicht einfach, da durch eine Übersetzung Verzerrungen in die Daten gelangen können.

Customer Sentiment Analysis mit LLMs

Eine mögliche Lösung, um die Herausforderungen zu meistern, ist der Einsatz von LLMs. Angenommen wir haben ein internationales Produkt, wie ein Fahrzeug, über welches wir Kundenfeedback gesammelt haben. Das Kundenfeedback möchten wir zu Entwicklungszwecken nutzen und die größten Schmerzpunkte der Kunden direkt bei den Entwicklungsteams platzieren. Hier kann eine LLM eingesetzt werden, um die Daten zu bereinigen, zu strukturieren und schließlich zu klassifizieren. In diesem Fall würde das Meinungsziel eines Feedbacks also nach verortetem Entwicklungsteam klassifiziert werden.

Customer Sentiment Analysis Prozess

Die obige Abbildung beschreibt exemplarisch, wie ein solcher Prozess aussehen könnte. Das Wissen des LLMs kann bei jedem einzelnen Prozessschritt weiter angereichert werden. So kann vorgegeben werden, in welche Klassen klassifiziert werden soll und welchen Verantwortungsbereich jedes Entwicklungsteam besitzt. Bei extrem technischem und fachspezifischem Feedback kann ein Sentiment Lexicon mit übergeben werden, welches die Begrifflichkeiten einordnet. Subjektivität, Sarkasmus, Umgangssprache und rhetorische Fragen können interpretiert werden, gerade wenn das LLM speziell dazu angewiesen wird.

LLMs sind nicht deterministische Systeme. Das bedeutet, dass der Output immer einem gewissen Zufallsfaktor unterliegt. Das kann in manchen Anwendungsfällen zu Problemen führen. Im Bereich der Customer Sentiment Analyse überwiegen jedoch die enormen Vorteile in der Interpretation von natürlicher Sprache. Zudem kann argumentiert werden, dass die Interpretation einer Meinung sowieso nicht deterministisch ist und einen gewissen Interpretationsspielraum zulässt. Zuletzt kann sein solches LLM-Verfahren auch mit anderen statistischen Methoden ergänzt werden.

Customer Sentiment Analysis mit CarByte

Viele Kunden beschäftigen Themen wie die Datensicherheit und die Bereitstellung von LLMs. CarByte konnte bereits einige Erfahrungen mit dem Einsatz von LLMs sammeln und arbeitet aktiv mit Kunden zusammen, um Lösungen für den gegebenen Fall zu finden. Darüber hinaus bieten wir technische Expertise im Bereich der Customer Sentiment Analyse und stehen auch bei Fragen zu Best-Practices und der Einholung von Kundenfeedback gerne beratend zur Seite. Kontaktieren Sie uns, um weitere Use-Cases für Ihr Unternehmen zu erkunden!