Името на галерията идва от папа Пий VII Киарамонти, който се отдава на колекционерство на антични произведения на изкуството.
Неговата колекция е разположена в северното крило на двореца известно като Галерия Кярамонти. В нея са изложени римски копия на антични гръцки статуи и колосална мраморна глава на император Август.
Разширяването на колекцията налага изграждането на нова просторна сграда, в която е експонирана прочутата статуя на император Август от Прима Порта (I в.), а също така и други антични паметници.