Search
Duplicate

모델 경량화

Created
6/23/2021, 5:45:00 AM
Tags
Empty
Discrimination model(=classification)에서는 경량화를 해도 성능 감소가 크지 않은데, Generative model(=GPT3)에서는 경량화하면 성능 감소가 매우 크다.
그 이유는 Classification은 공간을 나누는 기능만 하면되는데, Generation을 하려면 매니폴드의 공간을 따라가면서 데이터를 genration해야하기 때문이다.
TOP