Gerardus van Papenbroeck (1673–1743) was een Amsterdamse koopman, maar hij hield zich liever bezig met verzamelen. Hij legde een collectie handschriften aan met 'eigenhandige brieven van Keizers, Koningen, Prinsen, en de voornaamste Geleerden sedert twee eeuwen herwaarts' en manuscripten voor boeken, waaronder die van P.C. Hooft. Daarnaast verzamelde hij ongeveer 140 beeldhouwwerken uit de oudheid, de zogenaamde Marmora Papenburgica, die de basis hebben gevormd voor het huidige Rijksmuseum voor Oudheden.
Ookt bezat Van Papenbroeck een grote collectie portretten van 'Geleerde en Vermaarde mannen'. Dit waren bijna 80 portretten van staatslieden en ruim 80 portretten van geleerden (vooral theologen) en schrijvers. Een deel van de portretten hing in zijn huis Herengracht 336 te Amsterdam, een ander deel in de nu afgebroken buitenplaats Papenburg te Velsen. De portretten verdeelde hij over verschillende instellingen, waaronder het Amsterdamse Athenaeum Illustre. Een bijzondere beslissing, aangezien deze instelling toen nog erg klein was. De aanstelling van Petrus Burmannus Secundus als hoogleraar in 1742, die een nieuwe bloeiperiode voor het Athenaeum inluidde, zal ongetwijfeld grote invloed hebben gehad op de schenking. Het Athenaeum kreeg ook het enorme schilderij De ruïnes van Palmyra; een buitenbeentje in de schenking, dat meer in relatie staat tot de oudheidkundige collectie van Van Papenbroeck.
De schilderijen werden opgehangen in de Grote Gehoorzaal van het Athenaeum Illustre, op de eerste verdieping van de voormalige Agnietenkapel aan de Oudezijds Voorburgwal, waar ze tegenwoordig weer hangen. In de collectie bevinden zich portretten van de eerste hoogleraren aan het Athenaeum: Gerardus Johannes Vossius en Caspar Barlaeus. Daarnaast zijn er beroemdheden te zien als Erasmus, Lorenzo de Medici, Calvijn, Barclaius en Ariosto, deze laatste vermoedelijk direct geschilderd naar een tekening van Titiaan. Geportretteerd zijn ook twee pausen, die 'heftige inquisiteurs' waren en in 1921 op verzoek van de Faculteit der Godgeleerdheid van de Universiteit van Amsterdam werden verwijderd omdat 'noch zij noch wij met elkaars gezelschap zijn gebaat'.
Hoogtepunten in de Collectie Van Papenbroeck zijn de portretten van Johannes Antonides van der Goes en Petrus Francius, beide geschilderd door de zeeschilder Ludolf Bakhuysen, een kniestuk van Pieter Cornelisz Hooft, geschilderd door Michiel van Mierevelt, en een portret van Vondel, in 1660 geschilderd door Jan Lievens.
