A Caverna Szemlő-hegyi detém a maior concentração de jangadas de calcite da Europa Central — delicadas placas minerais que flutuam em piscinas subterrâneas antes de se calcificarem no teto. A caverna, descoberta em 1930 durante trabalhos de pedreira na encosta ocidental de Szemlő Hill, estende-se por 2.200 metros através de calcário triássico depositado há 240 milhões de anos, quando a Bacia da Panónia estava sob um mar raso. Água termal subindo de fraturas tectónicas esculpiu as passagens ao longo de dois milhões de anos, depositando a aragonite com textura de pipoca que agora cobre as paredes numa crosta que lembra couve-flor congelada. A Caverna Pál-völgyi, três quilómetros a norte, estende-se por 31 quilómetros pelas Colinas de Buda — o sistema de cavernas mais longo da Hungria e a segunda maior caverna termal do mundo. Espeleólogos mapearam as primeiras passagens em 1904, mas a extensão total permaneceu desconhecida até uma expedição na década de 1980 a conectar ao sistema vizinho de Mátyás Hill. As galerias superiores da caverna permanecem acima do nível freático, preservando fósseis de moluscos da era do Mioceno e fragmentos ósseos de mamíferos do Pleistoceno que caíram através de poços verticais durante a última era glacial. O Salão de Rádio, nomeado devido ao ar rico em radão outrora prescrito como terapia respiratória, situa-se 60 metros abaixo do nível da rua e mantém constantes 11°C durante todo o ano. Ambas as cavernas serviram como abrigos antiaéreos durante a Segunda Guerra Mundial e como adegas no século XIX, antes de os espeleólogos reconhecerem o seu valor científico. O Serviço de Resgate em Cavernas da Hungria monitoriza agora as passagens, e a iluminação de conservação instalada em 2014 impede o crescimento de algas enquanto ilumina a rocha festonada onde correntes antigas esculpiram o calcário. Experiências guiadas de tour pelas cavernas do castelo de Budapeste decorrem a cada hora através de ambos os sistemas, com rotas concebidas para exibir as formações contrastantes — as flores minerais de Szemlő-hegyi e as chaminés verticais de Pál-völgyi. O distrito do Castelo de Buda acima das cavernas assenta no mesmo planalto cársico, as suas caves e túneis formando uma contraparte rasa para a rede termal mais profunda. Clínicas de espeleoterapia operaram em Szemlő-hegyi até 2008, tratando pacientes com asma no ar saturado das câmaras inferiores. Hoje, as cavernas permanecem entre os poucos sistemas termais acessíveis sem equipamento de espeleologia, as suas passagens reforçadas equipadas com corrimãos e grelhas antiderrapantes para acomodar a descida de 400 degraus para as colinas.