Detection of protein-ligand binding sites using 3D Vision Transformers

Abstract

Detection of protein-ligand binding sites plays key role not only in understanding of protein function but it also can be used for computer-aided drug design. Improving these detection can lead to faster drug development. In recent years, many machine learning methods were proposed for this task. Nowadays, transformer architecture be- came one of the most prominent one for non-biological data. Its extension for images, vision transformer, became comparable to state-of-the-art algorithms. Moreover, this vision transformer can be expanded into 3D space. The goal of this thesis is to eval- uate possibilities of extending transformers into 3D, for biological data, specifically for protein-ligand binding site detection, exploiting the qualities of attention mechanism. 1

Detekce vazebných míst proteinů a ligandů hraje klíčovou roli nejen při porozumění funkce proteinů, ale také může být použita pro počítačový návrh léků. Vylepšení těchto detekčních metod může vést k rychlejšímu vývoji léčiv. V posledních letech bylo navrženo mnoho metod strojového učení pro tuto úlohu. Dnes se transformerová architektura stala jedním z nejvýznamnějších nástrojů pro nebiologická data. Její rozšíření pro obrázky, tzv. vision transformer, dosáhlo srovnatelných výsledků s nejlepšími algoritmy. Navíc lze tento vision transformer rozšířit do 3D prostoru. Cílem této práce je posoudit možnosti rozšíření transformerů do 3D prostředí pro biologická data, konkrétně pro detekci vazebných míst proteinů a ligandů, využívající vlastnosti mechanismu pozornosti. 1