Ricarda Lang og Omid Nouripour, som har delt posten som partileder siden januar 2022, kunngjorde onsdag at de går av.
De grønne sitter i regjering sammen med sosialdemokratene i SPD og Fridemokratene, men partiet har fått liten oppslutning i de siste delstatsvalgene.
I Brandenburg sist helg fikk De grønne bare 4,1 prosent av stemmene og mistet dermed alle sine representanter i delstatsforsamlingen. I 2019 fikk partiet 10,7 prosent i Brandenburg.
Partiet gikk også kraftig tilbake i Thüringen og endte opp uten representanter i delstatsforsamlingen der, mens de så vidt kom seg over sperregrensen på 5 prosent i Sachsen.
Også i EU-valget i juni gjorde De grønne det dårlig.
– Vi trenger en ny start, sa Nouripour da han kunngjorde beslutningen om å gå av onsdag.
– Tiden er nå inne for å ta ansvar, la han til.
De grønne vil velge ny ledelse på landsmøtet i midten av november.