La grotte de Szemlő-hegyi détient la plus forte concentration de radeaux de calcite d'Europe centrale — de délicates plaques minérales qui flottent sur des bassins souterrains avant de se calcifier sur le plafond. La grotte, découverte en 1930 lors de travaux de carrière sur le versant ouest de la colline de Szemlő, s'étend sur 2 200 mètres à travers du calcaire triasique déposé il y a 240 millions d'années, lorsque le bassin pannonien se trouvait sous une mer peu profonde. L'eau thermale remontant des fractures tectoniques a sculpté les passages sur deux millions d'années, déposant l'aragonite texturée en popcorn qui recouvre désormais les murs d'une croûte ressemblant à du chou-fleur congelé. La grotte de Pál-völgyi, située à trois kilomètres au nord, s'étend sur 31 kilomètres dans les collines de Buda — le plus long système de grottes de Hongrie et la deuxième plus longue grotte thermale de la planète. Les spéléologues ont cartographié les premiers passages en 1904, mais l'étendue totale est restée inconnue jusqu'à ce qu'une expédition des années 1980 la relie au système voisin de la colline Mátyás. Les galeries supérieures de la grotte restent au-dessus de la nappe phréatique, préservant des fossiles de mollusques de l'ère miocène et les fragments d'os de mammifères du Pléistocène tombés par des puits verticaux lors de la dernière ère glaciaire. La salle du Radium, nommée pour son air riche en radon autrefois prescrit comme thérapie respiratoire, se trouve à 60 mètres sous le niveau de la rue et maintient une température constante de 11°C toute l'année. Les deux grottes ont servi d'abris anti-aériens pendant la Seconde Guerre mondiale et de caves à vin au XIXe siècle, avant que les spéléologues ne reconnaissent leur valeur scientifique. Le Service hongrois de secours en grotte surveille désormais les passages, et l'éclairage de conservation installé en 2014 empêche la croissance des algues tout en illuminant la roche festonnée où les courants anciens ont sculpté le calcaire. Des visites guidées des grottes du château de Budapest ont lieu chaque heure à travers les deux systèmes, avec des itinéraires conçus pour présenter les formations contrastées — les fleurs minérales de Szemlő-hegyi et les cheminées verticales de Pál-völgyi. Le quartier du château de Buda au-dessus des grottes repose sur le même plateau karstique, ses caves et tunnels formant un pendant peu profond au réseau thermal plus profond. Des cliniques de spéléothérapie ont fonctionné à Szemlő-hegyi jusqu'en 2008, traitant les patients asthmatiques dans l'air saturé des chambres inférieures. Aujourd'hui, les grottes restent parmi les rares systèmes thermaux accessibles sans équipement de spéléologie, leurs passages renforcés étant équipés de mains courantes et de grilles antidérapantes pour accommoder la descente de 400 marches dans les collines.