Effects of Semantic Network Structure of English on Word Processing

Abstract

Tato diplomová práce zkoumá průnik komputačních přístupů k jazyku, vědy o sítích a psycholingvistického výzkumu produkce slov. Práce představuje vědu o sítích spolu s jejím formalismem a aplikací v lingvistickém výzkumu ve formě fonologických a sémantických sítí. Představuje relevantní psycholingvistický výzkum zpracování slov, konkrétně lexical decision task, který vypovídá o efektivitě zpracování slov. Nakonec jsou představeny velké jazykové modely a vektory slov. Cílem této práce je zkonstruovat sémantickou síť angličtiny na základě slovních vektorů vytvořených jazykovým modelem BERT ze vzorku z The TV Corpus. Struktura výsledné sémantické sítě je analyzována ve světle výsledků z lexical decision task čerpaných z databáze MALD, které odrážejí efektivitu zpracování slov. Výsledná sémantická síť má strukturu malého světa (small-world structure), což znamená, že slovní vektory transformované do sémantické sítě mohou zachytit kognitivně salientní sémantické vztahy mezi slovy. Lineární regresní analýza mezi síťovými proměnnými degree centrality, closeness centrality, and clustering coefficient pro jednotlivá slova v sémantické síti a reakčním časem pro stejná slova z databáze MALD neprokázala statisticky významný vztah. Zdá se, že clustering coefficient má mírně negativní vztah k reakční době, který...

This diploma thesis explores the intersection of computational approaches to language, network science, and psycholinguistic research of word production. The thesis introduces network science together with its formalism and application in linguistic research as phonological and semantic networks. It introduces relevant psycholinguistic experimental research of word processing, namely lexical decision task that is indicative of processing efficiency. Finally, large language models and word vectors are introduced. The aim of this thesis is to construct a semantic network of English based on word vectors computed by BERT language model from a sample of the TV Corpus. A structure of the resulting semantic network is analysed in the light of results from lexical decision task drawn from the MALD database that reflect word processing efficiency. The resulting semantic network has small-world structure implying that word vectors transformed into a semantic network can capture cognitively salient semantic relationships between words. Multiple linear regression analysis between degree centrality, closeness centrality, and clustering coefficient of words within the semantic network and reaction time for the same words from the MALD database did not show statistically significant relationship. Clustering...