Tehnici de profilare și accelerare a modelelor Deep Learning pe hardware eterogen

Abstract

Lucrarea investigheaza tehnici de optimizare pentru rularea de modele deep learning pe hardware NVIDIA si AMD. Sunt documentate și măsurate câteva tehnici de eficientizare a execuției: cuantizare, compilarea modelului, JIT, impactul versiunilor de Python, optimizarea fluxului de date. Studiul este făcut pe harware eterogen - plăci video NVIDIA Geforce RTX 4080 SUPER, RTX 5060, Radeon 7900 XTX și Radeon 7800 XT. Sunt discutate tehnicile de profilare specifice pltformelor AMD si NVIDIA. Analiza efectuată a permis modificarea unui model de deep learning - Swin2SR - avand ca rezultat reducerea cantității VRAM folosite, creșterea numărului de iterații pe secundă, optimizarea gradului de ocupare a resurselor. Lucrarea este utila celor interesati de tehnicile de optimizare a rularii modelelor de tip deep learning pe placi GPU. Utilitatea ei consta in sugerarea tehnicilor celor mai eficiente prin care un experimentalist reduce timpul de rulare pentru modele.