Examining Cognitive Abilities and Multilingual Performance of Large Language Models: A Comparative Analysis of GPT-3 and GPT-4

Abstract

Tato bakalářská práce zkoumá kognitivní schopnosti jazykových modelů při zpracování syntakticky zavádějících vět, tzv. garden-path sentences. Tento typ nejednoznačných vět často vede čtenáře k tomu, aby je zpočátku interpretovali nesprávně. V následujících experimentech různé modely GPT podstoupí úkol, který obsahuje práci s těmito zavádějícími větami. Porovnáním výkonu modelů GPT s lidskými daty se snažím vyhodnotit kognitivní úroveň jednotlivých modelů. Abych simulovala různé typy experimentálního prostředí, bude výkon jazykového modelu hodnocen jak v laboratorních, tak v domácích podmínkách. Tato prostředí budou zahrnovat různorodou skupinu fiktivních participantů, kteří se budou lišit věkem a pohlavím, aby bylo možné zkoumat možné rozdíly ve schopnostech zpracování napříč těmito demografickými skupinami. Výzkum kognitivních procesů zahrnujících porozumění syntakticky zavádějícím větám u lidských i počítačem simulovaných participantů byl již proveden v angličtině Huffem a Ulakçım (2024). V této studii rovněž zkoumám, zda je výkon jazykového modelu podobný v češtině, jelikož většina tréninkových dat pro velké jazykové modely pochází z angličtiny. Důraz není kladen na to, jak dobře model v experimentech dosahoval správnosti odpovědí, ale spíše na to, jak přesně napodoboval lidské chování při...

Tato bakalářská práce zkoumá kognitivní schopnosti jazykových modelů při zpracování syntakticky zavádějících vět, tzv. garden-path sentences. Tento typ nejednoznačných vět často vede čtenáře k tomu, aby je zpočátku interpretovali nesprávně. V následujících experimentech různé modely GPT podstoupí úkol, který obsahuje práci s těmito zavádějícími větami. Porovnáním výkonu modelů GPT s lidskými daty se snažím vyhodnotit kognitivní úroveň jednotlivých modelů. Abych simulovala různé typy experimentálního prostředí, bude výkon jazykového modelu hodnocen jak v laboratorních, tak v domácích podmínkách. Tato prostředí budou zahrnovat různorodou skupinu fiktivních participantů, kteří se budou lišit věkem a pohlavím, aby bylo možné zkoumat možné rozdíly ve schopnostech zpracování napříč těmito demografickými skupinami. Výzkum kognitivních procesů zahrnujících porozumění syntakticky zavádějícím větám u lidských i počítačem simulovaných participantů byl již proveden v angličtině Huffem a Ulakçım (2024). V této studii rovněž zkoumám, zda je výkon jazykového modelu podobný v češtině, jelikož většina tréninkových dat pro velké jazykové modely pochází z angličtiny. Důraz není kladen na to, jak dobře model v experimentech dosahoval správnosti odpovědí, ale spíše na to, jak přesně napodoboval lidské chování při...