Increasing intelligence test scores : the effects of watching video tutorials

Abstract

Intelligence is widely regarded as essential predictor for success in educational and organizational contexts. Correspondingly, test-takers often rely on approaches such as practice or coaching in order to maximize their intelligence test scores. However, test scores elevated by such approaches are not considered to reflect increases in dispositional cognitive ability. Accordingly, meaningful consequences can result when these elevated scores are used in selection and admission decisions. As particularly accessible and potentially very effective and efficient approach, test-takers might rely on watching video tutorials in order to prepare for an upcoming assessment. Nevertheless, the effects of watching video tutorials on intelligence test scores remain largely unknown. In this dissertation project, it was aimed to gain insight into the effects of watching video tutorials on intelligence test scores by conducting four empirical studies. In Study 1, the effects of a video tutorials on test scores were examined using figural matrices as popular and widely used figural reasoning task type. As primary goal, we investigated the figural matrices test scores of an experimental group watching a short figural matrices video tutorial focusing on teaching the rules compared to a control group watching an irrelevant video. As secondary goal, we investigated validity aspects by examining the correlations between the figural matrices scores and the scores in an intelligence test. The results of Study 1 indicated substantially higher figural matrices test scores in the experimental group than in the control group. Moreover, the correlations revealed to be comparable and of substantial magnitude in both groups. Noteworthy, however, these correlations revealed to be higher in the separate groups than in the entire sample. Study 2 was conducted to strengthen the evidence obtained in Study 1. Accordingly, the results were aimed to be replicated in a substantially larger and more diverse sample. Administering another version of the figural matrices task but the identical videos used in Study 1, the same result pattern emerged, revealing substantially higher test scores in the experimental group than in the control group, comparable validity coefficients in the expected magnitude in both groups, and higher validity coefficients in the separate groups than in the entire sample. Expanding the evidence to other reasoning tasks, the effects of video tutorials were further examined in Study 3 on the basis of number series as another popular and widely used numerical task type. In addition to an experimental group watching a number series video tutorial based on an illustration model illustrating the commonalities of number series items as well as the typical processes and a control group watching a task-irrelevant video tutorial, a second control group inspecting and working on number series item examples was included to represent another approach test-takers might use when preparing for an assessment. Moreover, and besides the scores in another intelligence test, we included grades as an additional variable for investigating validity aspects. The results revealed to be in line with Study 1 & Study 2, as the experimental group watching the number series video tutorial demonstrated higher number series test scores compared to the control groups. Furthermore, and related to validity aspects, the correlations between the number series test scores and the intelligence test scores as well as the correlations between the number series test scores and grades revealed to be comparable and substantially high in all three groups. Shifting the focus towards the effects on test-taking behavior, we conducted Study 4 to investigate whether watching a number series video tutorial also stimulates test-takers to take more notes, and whether using such notes can be assumed underlying the demonstrated test score increases. Correspondingly, we compared the number of items with notes (i.e., the notated relations between numbers) of the experimental group in Study 3 watching the number series video tutorial with the number of items with notes in the control group watching the irrelevant video tutorial. Furthermore, we inspected the correlation coefficients between the number of items with notes and the number series test scores in both groups and examined whether the number of items with notes mediated the effect of increased test scores after watching the number series video tutorial. Besides revealing the expected higher number of notes in the experimental group compared to the control group as well as substantial correlations between these notes and the number series test scores in both groups, the mediation analysis indicated that the effect of the number series video tutorial on number series tests scores was mediated by such a note-taking behavior. To conclude, the results obtained in this dissertation project confirmed watching video tutorials as an effective and efficient approach to increase test scores. By demonstrating substantial test score increases using two widely used reasoning task-types and additionally gathering insight into validity aspects and changes in test-taking behavior, the relevance of watching video tutorials as an influence likely to be involved in a plethora of testing situations was emphasized.

Intelligenz gilt weithin als einer der bedeutsamsten Prädiktoren für die Vorhersage von Erfolg in bildungs- und arbeitsbezogenen Kontexten. Entsprechend nutzen Testteilnehmende oft Ansätze wie Übung oder Coaching, um ihre Testwerte zu maximieren. Da derart gesteigerte Testwerte jedoch keine Zuwächse der intellektuellen Fähigkeiten kennzeichnen, können bei Verwendung solcher gesteigerten Testwerte in Auswahlkontexten bedeutsame Konsequenzen resultieren. Als besonders zugänglicher als auch zugleich potenziell sehr effektiver und effizienter Ansatz zur Testvorbereitung könnten Teilnehmende auf Video-Tutorials zurückgreifen. Dennoch sind die Auswirkungen der Nutzung eines solchen Ansatzes bislang weitgehend unbekannt. In dieser Dissertation wurde der Einfluss von Video-Tutorials auf Intelligenztestwerte anhand von vier empirischen Studien untersucht. In Studie 1 wurden die Effekte von Video-Tutorials anhand figuraler Matrizen als weit verbreitete figurale Aufgabenart untersucht. Als primäres Ziel wurden die Testwerte in figuralen Matrizenaufgaben einer Experimentalgruppe, die vor Bearbeitung ein kurzes Video-Tutorial über die Regeln in figuralen Matrizen sah, mit den Testwerten einer Kontrollgruppe verglichen, der zuvor ein irrelevantes Video präsentiert wurde. Darüberhinaus wurden Validitätsaspekte anhand der Korrelationen zwischen den Testwerten in figuralen Matrizenaufgaben und den Testwerten in einem Intelligenztest als externe Variable betrachtet. Die Ergebnisse von Studie 1 zeigten erheblich höhere Testwerte in figuralen Matrizenaufgaben in der Experimentalgruppe als in der Kontrollgruppe. Zusätzlich zeigten sich vergleichbar hohe Korrelationen in beiden Gruppen. Beachtenswerterweise waren diese Korrelationen in den getrennten Gruppen numerisch höher als in der gesamten Stichprobe. Studie 2 wurde durchgeführt, um die in Studie 1 gewonnenen Erkenntnisse zu stärken. Entsprechend wurden die Ergebnisse in einer substanziell größeren und heterogeneren Stichprobe repliziert. Mittels einer anderen Version der Matrizenaufgaben aus Studie 1 und den identischen Videos zeigte sich das gleiche Befundmuster von erheblich höheren Testwerten in der Experimentalgruppe als in der Kontrollgruppe, vergleichbaren Korrelationen in beiden Gruppen und höheren Korrelationen in den getrennten Gruppen als in der Gesamtstichprobe. Um den Fokus der Effekte von Video-Tutorials weiter auszuweiten, wurden in Studie 3 Zahlenreihen als weit verbreitete numerische Aufgabenart untersucht. Zusätzlich zu einer Experimentalgruppe, die ein Video-Tutorial über die Gemeinsamkeiten von Zahlenreihen-Aufgaben und den typischen Prozessen basierend auf einem Modells zur Aufgabenbearbeitung sah, und einer Kontrollgruppe, der ein aufgaben-irrelevantes Video-Tutorial präsentiert wurde, wurde eine zweite Kontrollgruppe einbezogen, die als alternativen Ansatz der Testvorbereitung Zahlenreihen-Beispiele eigenständig inspizierte und bearbeitete. Für die Betrachtung von Validitätsaspekten wurden neben den Testwerten in einem anderen Intelligenztest auch die Abiturnoten einbezogen. Die Ergebnisse in Studie 3 zeigten analoge Befundmuster zu Studie 1 und Studie 2: In der Experimentalgruppe zeigten sich höhere Zahlenreihen-Testwerte als in den beiden Vergleichsgruppen; zusätzlich waren sowohl die Korrelationen zwischen den Zahlenreihen-Testwerten und den Testwerten im Intelligenztest als auch die Korrelationen zwischen den Zahlenreihen-Testwerten und den Abiturnoten in allen Gruppen vergleichbar hoch. In Studie 4 wurde der Einfluss von Video-Tutorials auf das Testbearbeitungs-Verhalten fokussiert. Es wurde untersucht, ob nach Präsentation eines Zahlenreihen-Video-Tutorials die Teilnehmenden zu einer erhöhten Nutzung von Notizen angeregt wurden und ob ein derartiges Notizenverhalten als Mediator für die Testwertsteigerungen angenommen werden kann. Entsprechend wurde die Anzahl der Zahlenreihen-Aufgaben mit Notizen (d.h. notierte Beziehungen zwischen den Zahlen) der Experimentalgruppe aus Studie 3, die vor Aufgabenbearbeitung ein Zahlenreihen-Video-Tutorial sah, mit der Anzahl der Zahlenreihen-Aufgaben mit Notizen der Kontrollgruppe verglichen, der zuvor ein irrelevantes Video-Tutorial präsentiert wurde. Zusätzlich wurden die Korrelationen zwischen der Anzahl der Aufgaben mit Notizen und den Zahlenreihen-Testwerten untersucht und überprüft, ob der Effekt des Zahlenreihen-Video-Tutorials auf die Testwerte durch die Anzahl der Aufgaben mit Notizen mediiert wurde. Die Ergebnisse zeigten eine höhere Anzahl an Aufgaben mit Notizen in der Experimentalgruppe und substanziell hohe Korrelationen zwischen der Anzahl an Aufgaben mit Notizen und den Zahlenreihen-Testwerten in beiden Gruppen. Darüberhinaus zeigte die Mediationsanalyse, dass die Testwertsteigerungen in Zahlenreihen-Aufgaben nach Präsentation eines Zahlenreihen-Video-Tutorials durch das untersuchte Notizenverhalten vermittelt wurden. Zusammenfassend kann festgehalten werden, dass die Nutzung von Video-Tutorials als effektiver und effizienter Ansatz zur Steigerung von Testwerten angesehen werden kann. Die Relevanz eines solchen Ansatzes als Einfluss, der möglicherweise in vielen Testsituationen bereits eine Rolle spielt, wurde in dieser Dissertation anhand von substanziell hohen Testwertsteigerungen, Evidenzen zu Validitätsaspekten und Einfluss auf Testbearbeitungsverhalten näher verdeutlicht.