Textual user profiles for search-based recommendation

Abstract

Personalization plays a central role in enhancing users’ online experiences by helping them navigate vast amounts of data across various applications and services. One realistic and understudied use case is search-based recommendation, which aims to integrate personalized recommendations with situational queries, reflecting users’ current intent. User profiling is a key component of personalized search and recommendations, and it is becoming increasingly important due to the growing availability of personal data generated through users’ online activities. Unlike user models based on clicks and interaction logs, textual profiles improve users’ understanding of the personalization process, thereby increasing trust and supporting transparency and scrutability. User-generated text—such as reviews, surveys, social media posts, and chats—offers nuanced insights into user interests and preferences, but it comes with complexity due to varied style and noisiness. Utilizing alternative data sources for profiling in the context of search-based recommendation presents unique challenges, including: ensuring transparency and scrutability, addressing data sparsity and long-tail users, distilling valuable signals from noisy user-generated data, determining the extent of personalization achievable with different profiles, and overcoming the lack of publicly available data for search-based recommendation and alternative profiling sources. This dissertation addresses these challenges by the following contributions. The proposed methods are evaluated using a recommender system evaluation setup tailored to search-based recommendation, leveraging user studies and simulations where appropriate. • Sparse and Scrutable User Profiles. We first make the case for using concise, questionnaire-based user profiles for personalization, which are captured from short questionnaires filled out by users. These profiles are an ideal starting point to investigate the viability of small profiles for personalization, as they are directly expressed by the end-user and contain minimal errors. Such profiles are inherently scrutable, given that their underlying source is a questionnaire. Our experiments, which include collecting user data in the form of questionnaires and judgments of query-item pairs, demonstrate the effectiveness of concise user profiles for search-based recommendation. • Chat-based User Profiles. We propose tapping into a novel source for user profiling—user-to-user conversations—and leveraging such implicit signals for personalization. While chats as user profiles are less interpretable than questionnaires, they are still more comprehensible than non-textual sources, such as user click logs. We study the extent of personalization performance by comparing concise questionnaire-based profiles with richer chat-based profiles for the same users. Our extensive multi-stage user study, which collects chat data in addition to questionnaires and assessments, shows the improved performance of personalization results using both profiling sources over non-personalized results. • Concise User Profiles from Review Texts. We introduce an approach for constructing concise profiles from long and noisy review texts, combining the best of the previously researched settings by automatically constructing user profiles. This eliminates the need for users to manually fill out profiles while ensuring that the profiles remain concise, allowing users to understand and scrutinize them. We propose several methods for profile construction, including extracting informative cues using language statistics and generating profiles using large language models. Additionally, we propose soft-labeling techniques to address the lack of explicitly labeled negative data for training the recommender model. Extensive experiments compare several user profiling approaches and demonstrate that selecting informative text snippets and filtering out noise leads to better personalization performance.

Personalisierung spielt eine zentrale Rolle bei der Verbesserung digitaler Nutzererlebnisse, indem sie dabei hilft, sich in der Vielzahl an Informationen innerhalb verschiedenster Anwendungen und Dienste zurechtzufinden. Ein realistisches und bislang wenig erforschtes Szenario stellt die suchbasierte Empfehlung dar. Ziel ist es, personalisierte Empfehlungen mit situativen Suchanfragen zu verknüpfen und dadurch die aktuelle Nutzerintention abzubilden. Die Erstellung aussagekräftiger Nutzerprofile bildet dabei ein zentrales Element personalisierter Such- und Empfehlungsdienste – insbesondere angesichts der zunehmenden Verfügbarkeit persönlicher Daten, die durch Online-Aktivitäten generiert werden. Im Gegensatz zu Interaktionsdaten wie Klicks und Protokollen bieten textuelle Nutzerprofile ein tieferes Verständnis des Personalisierungsprozesses, stärken das Vertrauen der Nutzenden und fördern Transparenz sowie Nachvollziehbarkeit. Nutzergenerierte Texte – beispielsweise Rezensionen, Umfrageantworten, Social-Media-Beiträge oder Chats – ermöglichen differenzierte Einblicke in Interessen und Präferenzen, stellen jedoch aufgrund ihres variierenden Stils und hoher Rauschanteile auch besondere Herausforderungen dar. Die Nutzung solcher alternativer Datenquellen zur Profilerstellung, im Kontext suchbasierter Empfehlungen, wirft eine Reihe spezifischer Herausforderungen auf: die Sicherstellung von Transparenz und Nachvollziehbarkeit, der Umgang mit Datenknappheit und Long-Tail-Nutzenden, die Extraktion relevanter Signale aus verrauschten Textdaten, die Abschätzung des erreichbaren Personalisierungsgrads unterschiedlicher Profiltypen sowie der Mangel an öffentlich verfügbaren Daten für diesen speziellen Anwendungsfall. Diese Dissertation adressiert diese Herausforderungen mit folgenden Beiträgen. Unsere Ansätze werden im Rahmen eines speziell für suchbasierte Empfehlungen konzipierten Evaluations-Setups für Empfehlungsdienste validiert – unter Einbeziehung von Nutzerstudien und Simulationen, wann immer sinnvoll. Spärliche und nachvollziehbare Nutzerprofile. Wir argumentieren für den Einsatz kompakter, fragebogenbasierter Profile, die direkt von den Nutzenden über kurze Fragebögen bereitgestellt werden. Diese Profile eignen sich ideal, um das Potenzial kleiner, aber ausdrucksstarker Profile für die Personalisierung zu untersuchen, da sie direkt vom Endnutzenden stammen und kaum fehlerbehaftet sind. Ihre Herkunft aus standardisierten Fragebögen macht sie zudem von Natur aus nachvollziehbar. Unsere Experimente – einschließlich der Erhebung von Fragebogendaten sowie der Bewertung von Suche-Empfehlung-Paaren – belegen die Effektivität dieser Profilform im Kontext suchbasierter Empfehlungen. Chat-basierte Nutzerprofile. Wir schlagen vor, Nutzer-zu-Nutzer-Gespräche als neuartige Quelle impliziter Signale für die Profilerstellung zu erschließen. Auch wenn Chatverläufe weniger unmittelbar interpretierbar sind als Fragebögen, bieten sie dennoch mehr Transparenz als nicht-textuelle Quellen wie Klickprotokolle. Wir analysieren das Personalisierungspotenzial, indem wir kompakte, fragebogenbasierte Profile mit umfangreicheren, chatbasierten Profilen derselben Nutzenden vergleichen. Eine umfassende, mehrstufige Nutzerstudie, in der sowohl Chatdaten als auch Fragebögen und Bewertungen erhoben werden, zeigt eine deutliche Steigerung der Personalisierungsleistung bei Kombination beider Profilierungsquellen gegenüber nicht-personalisierten Empfehlungen. Kompakte Nutzerprofile aus Rezensionstexten. Wir präsentieren einen Ansatz zur automatisierten Erstellung kompakter Nutzerprofile aus langen und verrauschten Rezensionstexten. Dieser Ansatz vereint die Vorteile der zuvor untersuchten Szenarien und ermöglicht eine Profilerstellung ohne aktiven Nutzereingriff – bei gleichzeitig hoher Nachvollziehbarkeit. Wir entwickeln mehrere Verfahren zur Profilerstellung, darunter sprachstatistische Methoden zur Merkmalsextraktion sowie generative Ansätze unter Einsatz großer Sprachmodelle. Ergänzend führen wir Soft-Labeling-Techniken ein, um das Fehlen explizit negativer Trainingsbeispiele im Empfehlungsdienst zu kompensieren. Unsere umfassenden Experimente zeigen, dass die gezielte Auswahl informativer Textsegmente und das Herausfiltern irrelevanter Inhalte die Personalisierungsqualität deutlich verbessern.