Study of LSTM networks on natural sciences data

Abstract

Arsenid gallitý je klíčový materiál pro elektronické a fotonické aplikace a pochopení jeho procesu růstu pomocí metody chlazení v gradientu teploty je zásadní pro zlepšení kvality krystalů. Tato diplomová práce zkoumá použití neuronových sítí s dlouhou krátkodobou pamětí (LSTM) k modelování dynamiky masového růstu krystalů. Hlavním cílem je zhodnotit různé architektury LSTM a optimalizovat jejich hyperparametry pro nalezení efektivního nastavení pro tento modelovací úkol. Naše zjištění ukazují, že vícevrstvé LSTM sítě s vhodnými technikami normalizace a regularizace překonávají své jednovrstvé ekvivalenty při dosažení snížení chyby měření o 21%, i při trénování na relativně malém datasetu. Zaměřujeme se na několik strukturálních vylepšení LSTM, jako jsou skulinkové spojení, normalizace vrstev a reziduální spojení, a vyhodnocujeme jejich dopad na výkon modelu. Výsledky jsou smíšené, což naznačuje, že některé úpravy LSTM významně zlepšily přesnost predikcí, zatímco jiné úpravy měly omezený nebo žádný účinek. Tato práce poskytuje vhled do toho, které vylepšení LSTM jsou přínosná pro modelování dy- namiky metody chlazení v gradientu teploty a která výhodná nejsou. Celkově tato práce pomáhá zlepšit naše chápání přístupů založených na LSTM pro modelování růstu krystalů arsenidu gallitého. Rovněž poskytuje cenné...

Gallium arsenide is a vital material for electronic and photonic applications, and un- derstanding its vertical gradient freeze growth process is crucial for improving crystal quality. This thesis explores the use of long short-term memory neural networks (LSTM) to model the dynamics of bulk crystal growth. The main objective is to evaluate different LSTM architectures and optimize their hyperparameters to identify effective configura- tions for this modeling task. Our findings demonstrate that the multi-layered LSTM net- works with suitable normalization and regularization techniques outperform their single- layered counterparts, achieving a 21% reduction of the error metric, even when trained on a relatively small dataset. We focus on several LSTM structural improvements, such as peephole connections, layer normalization, and residual connections, and assess their impact on model performance. The results are mixed, indicating that some LSTM mod- ifications significantly improve prediction accuracy while other adjustments have limited or no effect. This work provides insights into which LSTM enhancements are benefi- cial for modeling vertical gradient freeze growth dynamics and which are not. Overall, this work helps improve our understanding of LSTM-based approaches for modeling gal- lium arsenide crystal...