Ihren Charakter erhielt die Rhön durch den Tertiärvulkanismus und die darauf folgenden Abtragungsprozesse. Basierend auf den ältesten Gesteinen (den triassischen Meeresablagerungen des Buntsandsteins, Muschelkalks und Keupers) durchbrachen im frühen Tertiär magmatische Eruptionen die Erdkruste und bildeten zunächst Schlote und später Basaltdecken. Diesem Schutz der darunterliegenden Schichten folgten im Tertiär Meeresablagerungen von Ton- und Sandsedimenten, die eine Bildung von Braunkohleflözen begünstigten.
Diese Gesteinsschichten wurden jedoch im Quartär in Folge einer Hebung um mehrere hundert Meter mit Ausnahme der Hochebenen um Andenhausen abgetragen. Es kam zu einer Freilegung der Basaltschlote und –kuppen und gleichzeitig einer Aufschotterung der Täler. Darauf folgte die Ablagerung von Löss, die Bildung von Block- und Hangschutt und die Entstehung von Hochmooren wegen undurchlässiger Gesteinsschichten.
Die Vielzahl der vorherrschenden Gesteine (Basalt, Muschelkalk, Buntsandstein, Tone, Sande etc.) bedingt die unterschiedlichen Bodentypen (siehe Tabelle), und Nutzungsmöglichkeiten von Acker, Grünland und Wald und die große Biodiversität des Biosphärenreservates Rhön (Grebe et al. 1995).
| Ausgangsgestein | Bodentypen |
| Buntsandstein | Cambisol (Braunerde) Podzol (Podsol) Leptosol (Ranker) |
| tonige Sedimente des Röt (oberer Buntsandstein) | Pelosol |
| Muschelkalk | Leptosol (Rendzina) Lithosol (Syrosem) Luvisol (Parabraunerde) Pelosol |
| Basalt | Cambisol (Braunerde) Histosol (Moore) |
| Keuper | Cambsiol (Braunerde) Pelosol |
| Tertiärsedimente | Cambisol (Braunerde) Stagnosol (Pseudogley) |