Interactions between immediate and delayed feedback processing and memory encoding : an investigation using event-related potentials

Abstract

Feedback-based learning relies on a procedural learning system mediated by dopaminergic reward prediction error (RPE) signals. Recent neuroimaging research indicates that the processing of temporally delayed feedback is supported by the hippocampus, a brain structure associated with declarative memory processes, but it is still unknown how delayed feedback processing and memory encoding interact. In this dissertation project, in a series of three experiments, a subsequent memory paradigm was employed to investigate how the incidental encoding of feedback pictures in a probabilistic learning task affects the event-related potential (ERP) correlate of RPEs in feedback processing, i.e., the feedback-related negativity (FRN), and how this interaction is modulated by feedback timing, valence, and explicit outcome expectations. In Experiment 1, task-unrelated scene pictures were presented together with performance feedback in the learning task. In an ensuing test phase, a surprise recognition memory test for the pictures was conducted. FRN amplitudes measured in the feedback-locked ERPs recorded during the learning phase (FRNpeak) and in the negative minus positive feedback difference wave (FRNdiff) were compared for subsequently remembered and forgotten feedback pictures. Pictures were remembered better when presented together with positive than with negative feedback, and ERP amplitudes in the FRNdiff time window predicted subsequent memory only for positive feedback pictures. Consistent with previous studies, shortly delayed (SD, 500 ms) feedback elicited larger FRNdiff amplitudes than long delayed feedback (LD, 6500 ms), whereas the reverse pattern was found in FRNpeak amplitudes. As evidenced by behavioral estimates and ERP old/new effects, positive feedback enhanced memory by boosting familiarity-based recognition. However, feedback timing did not affect memory, presumably because participants did not need to process the scene pictures in order to learn from feedback. In Experiment 2, the picture category signaled the valence of the feedback. LD feedback pictures were associated with better memory and more recollective processing than shortly delayed ones. Feedback processing as reflected in the FRNpeak was attenuated for remembered as compared to forgotten LD feedback pictures. This suggests that when feedback was delayed, feedback processing and memory encoding competed for similar neural processing resources. As evidence by large FRNdiff amplitudes in the SD condition, the evaluation of shortly delayed feedback strongly relied on the procedural learning system. A complementary model-based single trial analysis was conducted to validate models of the functional significance of the FRN. Consistent with previous studies, feedback-locked N170 and P300 amplitudes were sensitive to feedback delay. Experiment 3 tested the hypothesis that the putative involvement of declarative learning processes in delayed feedback processing is mediated by the spontaneous generation of explicit outcome expectations during the feedback delay. A delayed feedback condition was compared with a Prediction condition in which participants were asked on each trial to predict the category of the upcoming feedback picture. Memory for the feedback pictures did not differ between the Prediction and Delay conditions. The FRNpeak subsequent memory effect obtained in Experiment 2 was replicated in both conditions, but more pronounced in the Prediction condition. As evidenced by ERP old/new effects, negative feedback pictures that disconfirmed explicit outcome expectations were associated with stronger recollective processing than those presented in the Delay condition. Positive feedback pictures elicited a recognition bias and increased familiarity signals in the memory test, which could reflect a generalization of reward value to pictures of the same category (indoor or outdoor scene). Taken together, the findings obtained in this dissertation show multiple ways by which feedback processing and memory encoding can interact, and how this interaction is shaped by feedback timing, valence, and explicit outcome expectations.

Feedbackbasiertes Lernen beruht auf einem prozeduralen Lernsystem, das auf der neurobiologischen Ebene durch dopaminerge Belohnungsvorhersagefehlersignale vermittelt wird. Studien mit bildgebenden Verfahren weisen darauf hin, dass die Verarbeitung von zeitlich verzögertem Feedback durch den Hippocampus unterstützt wird, eine Hirnstruktur, die mit deklarativen Gedächtnisprozessen assoziiert ist. Es ist jedoch noch nicht bekannt, wie die Verarbeitung von verzögertem Feedback mit der Gedächtnisenkodierung interagiert. In diesem Dissertationsprojekt wurde in einer Serie von drei Experimenten die Methode der nachfolgenden Erinnerung verwendet, um zu untersuchen, wie die inzidentelle Enkodierung von Feedbackbildern in einer probabilistischen Lernaufgabe sich auf das im ereigniskorrelierten Potenzial (EKP) messbare Korrelat von Belohnungsvorhersagefehlern in der Feedbackverarbeitung, die Feedback-Negativierung (FRN), auswirkt und wie diese Interaktion durch zeitliche Charakteristika und Valenz des Feedbacks sowie durch explizite Ergebniserwartungen moduliert wird. Im ersten Experiment wurden Bilder von Innenräumen und Landschaften zusammen mit dem Feedback in der Lernaufgabe präsentiert, wobei die Bilder nicht relevant für die Aufgabe waren. In der darauf folgenden Testphase wurde ein unerwarteter Rekognitionstest für die Bilder durchgeführt. FRN-Amplituden wurden in den während der Feedbackpräsentation aufgezeichneten EKP gemessen (FRNpeak), sowie in der Differenzwelle, die durch die Subtraktion der durch positives Feedback erzeugten EKP von den durch negatives Feedback erzeugten EKP gebildet wurde (FRNdiff). Beide FRN-Maße wurden für später erinnerte und später vergessene Bilder verglichen. Bilder, die zusammen mit positivem Feedback gezeigt wurden, wurden besser erinnert als solche, die mit negativem Feedback gepaart wurden, und EKP-Amplituden im Zeitfenster der FRNdiff prädizierten spätere Erinnerung ausschließlich für Bilder, die zusammen mit positivem Feedback präsentiert wurden. Übereinstimmend mit früheren Studien erzeugte kurz verzögertes Feedback (500 ms) größere FRNdiff-Amplituden als lang verzögertes Feedback (6500 ms), wohingegen das umgekehrte Muster für FRNpeak-Amplituden gefunden wurde. Wie durch behaviorale Maße und EKP-Alt/Neu-Effekte belegt, stärkte die Verarbeitung von positivem Feedback vor allem das vertrautheitsbasierte Erinnern der zeitgleich präsentierten Bilder, jedoch wirkten sich die zeitlichen Parameter der Feedbackpräsentation nicht auf das Gedächtnis aus, vermutlich weil eine Verarbeitung der Bilder nicht notwendig war, um das Feedback zum Lernen zu nutzen. Im zweiten Experiment wurde daher die Bildkategorie (Innenraum oder Landschaft), mit der Valenz des Feedbacks verknüpft. Lang verzögerte Feedbackbilder waren mit besserer Erinnerung und stärkerer rekollektiver Verarbeitung assoziiert als solche, die mit kurzer Verzögerung präsentiert worden waren. Die Feedbackverarbeitung, gemessen als FRNpeak-Amplitude, war geringer für lang verzögerte Feedbackbilder, die anschließend erinnert wurden als für solche, die nicht erinnert wurden. Dies legt nahe, dass die Verarbeitung von zeitlich verzögertem Feedback und die Gedächtnisenkodierung auf ähnliche neuronale Verarbeitungskapazitäten zugreifen. Wie anhand von FRNdiff-Amplituden ersichtlich, beruhte die Evaluation von zeitlich kurz verzögertem Feedback in starkem Ausmaß auf dem prozeduralen Lernsystem. Eine ergänzende, modellbasierte Analyse auf der Ebene einzelner Lerndurchgänge wurde durchgeführt, um Modelle der funktionalen Bedeutsamkeit der FRN zu validieren. Übereinstimmend mit vorherigen Studien wurden durch die Feedbackverarbeitung hervorgerufene N170- und P300-Amplituden durch die zeitliche Verzögerung des Feedbacks moduliert. Das dritte Experiment überprüfte die Hypothese, dass die mutmaßliche Beteiligung von deklarativen Lernprozessen bei der Verarbeitung von verzögertem Feedback durch die spontane Entwicklung expliziter Ergebniserwartungen während der Feedbackverzögerung vermittelt wird. Eine Bedingung mit verzögertem Feedback wurde mit einer Vorhersage-Bedingung kontrastiert, in der die Probanden in jedem Lerndurchgang die Kategorie des Feedbackbildes prädizierten. Die Erinnerung an die Feedbackbilder unterschied sich nicht zwischen den beiden Bedingungen. Der Effekt der nachfolgenden Erinnerung in den FRNpeak-Amplituden, der in Experiment 2 gefunden wurde, wurde in beiden Bedingungen repliziert, war jedoch in der Vorhersage-Bedingung stärker ausgeprägt. Wie durch EKP-Alt/Neu-Effekte belegt, waren negative Feedbackbilder, die die explizite Erwartung eines positiven Ergebnisses verletzten, mit einer stärkeren rekollektiven Verarbeitung verknüpft. Positive Bilder waren im Gedächtnistest mit besonders vielen falsch positiven Gedächtnisurteilen assoziiert, was mit einer Generalisierung des Belohnungswertes zu Bildern der gleichen Kategorie zusammenhängen könnte. Zusammengefasst zeigen die Ergebnisse dieser Dissertation, dass die Feedbackverarbeitung und die Gedächtnisenkodierung auf mehreren Wegen interagieren können. Die zeitlichen Charakteristika der Feedbackpräsentation, die Valenz des Feedbacks und explizite Ergebniserwartungen stellen wichtige Faktoren dar, die diese Interaktion beeinflussen.