La grotte est logée au rez-de-chaussée d'un pavillon d'angle, à l'extrémité de la galerie d'Ulysse (aujourd'hui disparue et remplacée depuis le XVIIIe siècle par l'aile Louis XV). Elle donnait à l’origine sur un jardin planté de pins maritimes. Elle est directement inspirée du maniérisme italien.
La façade est constituée de géants emprisonnés dans la pierre. Ces Atlantes sont un chef-d'œuvre de la sculpture en « gresserie » : brutaux, massifs, d'une étonnante modernité, ils semblent surgir de leur gangue en grès et dominer avec peine leur force primaire, quasi bestiale.
