Shedding light on the still fuzzy relationship between intelligence and complex problem solving : the role of process measures

Abstract

Intelligence and complex problem solving (CPS) are well researched constructs that play an important role in educational science and psychology. The significance of these two constructs is based on their close relationship and significant prediction of success in a variety of important real-life outcomes, such as scholastic achievement, achievement in university, and job performance. Regarding the relationship between intelligence and CPS, the two constructs are closely related at the theoretical level. However, despite extensive research, the empirical relationship between intelligence and CPS has not been conclusively clarified. Therefore, the aim of the present dissertation project was to investigate the factors that influence the strength of the association between the two constructs and to examine observable patterns of behavior in which intelligence manifests itself when solving complex problems. As CPS assessment tools are computer-based and interactive, they allow to extract log-file data of students’ problem-solving process from which meaningful patterns of observable behavior can be isolated. Such observable behaviors can be thought of as indicators of cognitive processes and, based on this assumption, can be used to clarify the intelligence-CPS relationship. In the present dissertation project, three studies were conducted to accomplish the aforementioned goal. In a fourth study, a very time-efficient screening instrument to assess an indicator of general intelligence was evaluated and a parallel form was developed, thus expanding the possibilities of intelligence assessment in (large-scale) studies when time is scarce. In the first study, we investigated the Elshout-Raaheim hypothesis (Leutner, 2002; see Elshout, 1987; Raaheim, 1988), which predicts a curvilinear moderating effect of prior knowledge on the relationship between intelligence and CPS, such that correlation coefficients follow an inverted U-shaped pattern. Across a series of five CPS tasks, we hypothesized that prior knowledge would increase from task to task. To test this hypothesis, we considered the relative frequency of CPS exploration behavior to vary-one-thing-at-a-time (VOTAT) in individual CPS tasks as an indicator of prior (strategic) knowledge. The study revealed two main findings: First, the predicted increase in prior knowledge in the knowledge acquisition phase was supported by our data. Second, the pattern of intelligence-CPS correlation coefficients followed an inverted U-shaped pattern in the knowledge acquisition phase and the knowledge application phase of the CPS assessment tool, as predicted. Our findings of an inverted U-shaped pattern of correlation coefficients suggest that intelligence plays a more important role in solving complex problems when participants have acquired medium levels of prior knowledge, and a less important role when participants have acquired either rather low or rather high levels of prior knowledge. In the second study, we examined students’ strategic exploration behavior with regard to eigendynamic effects. Eigendynamic effects are an important characteristic of CPS and can be described as increases or decreases in outcome variables over time without any actions taken by the participant. Specifically, we investigated for the first time the strategic behavior to identify eigendynamic effects in an early exploration step, which is an effective strategic behavior if the system comprises different types of effects (i.e., eigendynamic effects along with other effects). The examined strategic behavior predicted the performance in both CPS phases for the respective tasks and for the set of tasks. Moreover, the mediation models showed that intelligence manifests itself in the strategic behavior to identify eigendynamics early, going hand in hand with higher CPS performance in the knowledge acquisition phase. Regarding the knowledge application phase, the pattern of results suggests that more intelligent students achieved higher CPS performance scores by adequately identifying eigendynamics, but regardless of whether they did so in an early or later exploration step. In the third study, we investigated the effectiveness (i.e., consistent use of VOTAT) and efficiency (i.e., number of non-necessary exploration steps) of students’ exploration behavior in CPS tasks and its relation to intelligence and CPS performance. In a first, exploratory analysis of students’ exploration behavior, we found an increasingly consistent use of VOTAT across the sequence of tasks, corresponding to previous studies. Going beyond previous studies, we showed an increasingly efficient strategy use across tasks. Using a person-centered approach, we found four distinct (latent) classes of students. With respect to these classes, the pattern of results highlights the importance of effectiveness (indicated by VOTAT) for successful problem solving and its relationship to intelligence. However, classes of students who explored effectively, but either more or less efficiently, showed comparable intelligence and CPS test scores. Thus, a pattern of increasingly efficient exploration behavior across tasks was found, but the relationship of efficiency to CPS performance and intelligence requires further research. The fourth study focused on the evaluation and extension of a very time-efficient intelligence screening instrument that can be administered in just three minutes, the mini q (Baudson & Preckel, 2016). Time-efficient and well-evaluated intelligence screenings are important instruments in extensive research projects. Specifically, we examined the test characteristics of the mini-q and introduced a new parallel version, the mini-q B. The distributions of the sum scores of the two test versions indicated discrimination between individuals of different ability and were substantially correlated with each other. With respect to validity, we found correlations with another intelligence test and the GPA that were partially consistent with our assumptions. In summary, the results are promising and indicate the suitability of the mini-q and its parallel version as intelligence screening instruments. Taken together, the results of this dissertation project helped to clarify the ambiguous relationship between intelligence and CPS and to expand the potential applications of a very time-efficient intelligence screening instrument. With regard to the intelligence-CPS relationship, both moderating effects, which influence the strength of the association, and mediating effects, which illustrate how intelligence manifests itself in observable patterns of behavior when solving complex problems, were demonstrated. In addition, the relevance and great potential of log-file data to provide insight into the cognitive processes of problem solvers were demonstrated, helping to clarify the relationship between intelligence and CPS.Keine Sicherheit

Intelligenz und komplexes Problemlösen (KPL) gelten als gut erforschte Konstrukte mit hoher Relevanz für die Bildungswissenschaften und die Psychologie. Die Bedeutung dieser beiden Konstrukte beruht auf ihrem Zusammenhang mit dem Erfolg in zentralen Lebensbereichen wie Schul- und Studienleistungen und beruflichem Erfolg. Auf theoretischer Ebene sind die beiden Konstrukte eng miteinander verknüpft. Trotz zahlreicher Studien ist der empirische Zusammenhang zwischen Intelligenz und KPL jedoch nicht abschließend geklärt. Ziel dieses Dissertationsprojektes war es daher, Faktoren zu untersuchen, die die Stärke des Zusammenhangs zwischen den beiden Konstrukten beeinflussen, und beobachtbare Verhaltensmuster zu identifizieren, in denen sich Intelligenz beim Lösen komplexer Probleme manifestiert. Da KPL-Testinstrumente in der Regel computergestützt und interaktiv sind, ermöglichen sie die Extraktion von Logfile-Daten des Problemlösungsprozesses. Aus diesen Protokolldaten können beobachtbare Verhaltensmuster isoliert werden, die als Indikatoren für kognitive Prozesse interpretiert werden können und somit zur Klärung der Beziehung zwischen Intelligenz und KPL beitragen. Im Rahmen dieses Dissertationsprojektes wurden drei Studien zur Untersuchung des Zusammenhangs zwischen Intelligenz und KPL durchgeführt. In einer vierten Studie wurde ein sehr zeiteffizientes Screening-Instrument zur Erfassung eines Indikators der allgemeinen Intelligenz evaluiert und eine Parallelform entwickelt, welche die Möglichkeiten der Intelligenzmessung in Studien mit begrenztem Zeitrahmen erweitert. In der ersten Studie untersuchten wir die Elshout-Raaheim-Hypothese (Leutner, 2002; siehe Elshout, 1987; Raaheim, 1988), die einen moderierenden Effekt des Vorwissens auf den Zusammenhang zwischen Intelligenz und KPL in Form eines umgekehrt U-förmigen Musters der Korrelationskoeffizienten vorhersagt. Dabei nahmen wir an, dass über eine Serie von fünf KPL-Aufgaben das Vorwissen von Aufgabe zu Aufgabe zunehmen würde. Um diese Hypothese zu testen, betrachteten wir als Indikator für das (strategische) Vorwissen die relative Häufigkeit des KPL-Explorationsverhaltens, jeweils nur eine Variable zu variieren und alle anderen konstant bei null zu halten (Engl.: vary-one-thing-at-a-time; VOTAT) in einzelnen KPL-Aufgaben. Die Analysen zeigten, dass das strategische Vorwissen in der Phase des Wissenserwerbs wie erwartet zunahm. Darüber hinaus folgt das Muster der Korrelationskoeffizienten zwischen Intelligenz und KPL in der Phase des Wissenserwerbs und in der Phase der Wissensanwendung des KPL-Messinstruments hypothesenkonform einer umgekehrt U-förmigen Kurve. Unsere Ergebnisse eines umgekehrt U-förmigen Musters der Korrelationskoeffizienten deuten darauf hin, dass die Intelligenz eine wichtigere Rolle bei der Lösung komplexer Probleme spielt, wenn die Teilnehmenden ein mittleres Niveau an Vorwissen erworben haben, und eine weniger wichtige Rolle, wenn die Teilnehmenden entweder ein eher niedriges oder ein eher hohes Niveau an Vorwissen erworben haben. In der zweiten Studie wurde das strategische Explorationsverhalten im Hinblick auf eigendynamische Effekte untersucht. Eigendynamische Effekte sind ein wichtiges Merkmal von KPL und können als Zunahme oder Abnahme von Ergebnisvariablen in Abhängigkeit von der Zeit beschrieben werden. Zum ersten Mal wurde das strategische Verhalten untersucht, eigendynamische Effekte in einem frühen Explorationsschritt zu identifizieren, ein effektives Vorgehen, wenn das System verschiedene Arten von Effekten enthält (d. h. eigendynamische Effekte zusammen mit anderen Effekten). Das untersuchte strategische Verhalten sagte die Leistung in beiden KPL-Phasen für die jeweiligen Aufgaben und für das Set an Aufgaben voraus. Darüber hinaus zeigten die Mediationsmodelle, dass sich Intelligenz in der strategischen Verhaltensweise, eigendynamische Effekte in einem frühen Explorationsschritt zu identifizieren, manifestierte, was mit einer höheren KPL-Leistung in der Wissenserwerbsphase einherging. In Bezug auf die Phase der Wissensanwendung deutete das Ergebnismuster darauf hin, dass intelligentere Schülerinnen und Schüler höhere KPL-Leistungen erzielten, indem sie Eigendynamik adäquat identifizierten, aber unabhängig davon, ob sie dies zu einem früheren oder einem späteren Zeitpunkt taten. In der dritten Studie untersuchten wir die Effektivität (d. h. die konsistente Verwendung von VOTAT für jede Eingabevariable) und die Effizienz (d. h. die Anzahl unnötiger Explorationsschritte über die einmalige Verwendung von VOTAT für jede Eingabevariable hinaus) des Explorationsverhaltens bei KPL-Aufgaben und deren Beziehung zur Intelligenz und KPL-Leistung. In einer ersten explorativen Analyse des Explorationsverhaltens fanden wir eine zunehmend konsistente Nutzung von VOTAT über die Aufgaben hinweg. Darüber hinaus und in Erweiterung der aktuellen Forschung fanden wir eine zunehmend effiziente Strategieanwendung. Mit Hilfe eines personenzentrierten Ansatzes konnten vier verschiedene (latente) Klassen von Schülerinnen und Schülern identifiziert werden. In Bezug auf diese Klassen unterstreicht das Ergebnismuster die Bedeutung der Effektivität (gemessen durch VOTAT) für erfolgreiches Problemlösen und ihre Beziehung zur Intelligenz. Es wurden jedoch vergleichbare Intelligenz- und KPL-Leistungen zwischen den Klassen von Schülerinnen und Schülern gefunden, die effektiv, aber mehr oder weniger effizient explorierten. Zusammenfassend wurde ein zunehmend effizienteres Explorationsverhalten festgestellt, dessen Zusammenhang mit Intelligenz und KPL-Leistung weiterer Untersuchungen bedarf. Die vierte Studie konzentrierte sich auf die Evaluation und Konstruktion einer neuen Parallelversion eines sehr zeiteffizienten Screening-Instruments zur Erfassung eines Indikators der allgemeinen Intelligenz in nur drei Minuten, dem mini-q (Baudson & Preckel, 2016). Die Verteilungen der Summenwerte beider Testversionen wiesen auf eine Diskrimination unterschiedlich leistungsstarker Personen hin und korrelierten signifikant miteinander. Hinsichtlich der Validität fanden wir Korrelationen mit einem anderen Intelligenztest und der Abiturnote, die teilweise mit unseren Annahmen übereinstimmten. Die Ergebnisse bezüglich des mini-q und dessen Parallelform lassen sich als vielversprechend zusammenfassen und weisen auf ihre Eignung als Intelligenzscreening-Instrumente hin. Insgesamt haben die Ergebnisse dieses Dissertationsprojektes dazu beigetragen, den Zusammenhang zwischen Intelligenz und KPL weiter aufzuklären und die Anwendungsmöglichkeiten eines Screening-Instruments zur Erfassung der allgemeinen Intelligenz zu erweitern. Hinsichtlich des Zusammenhangs zwischen Intelligenz und KPL konnten sowohl moderierende Effekte, die die Stärke des Zusammenhangs beeinflussen, als auch mediierende Effekte, die verdeutlichen, wie sich Intelligenz in beobachtbaren Verhaltensmustern beim Lösen komplexer Probleme manifestiert, nachgewiesen werden. Weiterhin wurde die Relevanz und das große Potenzial von Logfile-Daten aufgezeigt, die Einblicke in die kognitiven Prozesse von Problemlösenden ermöglichen und damit zur Aufklärung des Zusammenhangs zwischen Intelligenz und KPL beitragen.