Die Szemlő-hegyi-Höhle besitzt die höchste Konzentration an Kalzitflößen in Mitteleuropa — empfindliche Mineralplatten, die auf unterirdischen Becken schwimmen, bevor sie zur Decke hin verkalken. Die Höhle, die 1930 bei Steinbrucharbeiten am Westhang des Szemlő-Hügels entdeckt wurde, erstreckt sich über 2.200 Meter durch Trias-Kalkstein, der sich vor 240 Millionen Jahren abgelagert hat, als das Pannonische Becken unter einem flachen Meer lag. Aus tektonischen Brüchen aufsteigendes Thermalwasser formte die Gänge über zwei Millionen Jahre hinweg und lagerte den popcornartigen Aragonit ab, der nun die Wände in einer Kruste überzieht, die an gefrorenen Blumenkohl erinnert. Die drei Kilometer nördlich gelegene Pál-völgyi-Höhle erstreckt sich 31 Kilometer tief in die Budaer Berge — das längste Höhlensystem Ungarns und die zweitlängste Thermalhöhle der Erde. Höhlenforscher kartierten die ersten Gänge 1904, doch das volle Ausmaß blieb unbekannt, bis eine Expedition in den 1980er Jahren eine Verbindung zum benachbarten Mátyás-Hügel-System herstellte. Die oberen Galerien der Höhle liegen oberhalb des Grundwasserspiegels und bewahren Fossilien von Weichtieren aus dem Miozän sowie Knochenfragmente von Säugetieren aus dem Pleistozän, die während der letzten Eiszeit durch vertikale Schächte nach unten fielen. Die Radium-Halle, benannt nach der radonhaltigen Luft, die einst als Atemtherapie verschrieben wurde, liegt 60 Meter unter Straßenniveau und hält ganzjährig konstante 11°C. Beide Höhlen dienten während des Zweiten Weltkriegs als Luftschutzbunker und im 19. Jahrhundert als Weinkeller, bevor Speläologen ihren wissenschaftlichen Wert erkannten. Der ungarische Höhlenrettungsdienst überwacht heute die Gänge, und eine 2014 installierte Schutzbeleuchtung verhindert Algenwachstum, während sie den geschwungenen Fels beleuchtet, an dem antike Strömungen den Kalkstein modellierten. Geführte Budapester Burg-Höhlentouren finden stündlich durch beide Systeme statt, wobei die Routen so gestaltet sind, dass sie die gegensätzlichen Formationen präsentieren — die mineralischen Blüten von Szemlő-hegyi und die vertikalen Schornsteine von Pál-völgyi. Das Burgviertel von Buda oberhalb der Höhlen liegt auf demselben Karstplateau; seine Keller und Tunnel bilden ein flaches Gegenstück zum tieferen thermalen Netzwerk. In Szemlő-hegyi wurden bis 2008 Speläotherapie-Kliniken betrieben, in denen Asthmapatienten in der gesättigten Luft der unteren Kammern behandelt wurden. Heute gehören die Höhlen zu den wenigen Thermalsystemen, die ohne Höhlenausrüstung zugänglich sind, wobei ihre verstärkten Gänge mit Handläufen und rutschfesten Rosten ausgestattet sind, um den Abstieg über 400 Stufen in die Hügel zu ermöglichen.