Les premières vignes de ce terroir remontent à l'antiquité. Son nom est issu de deux toponymes : «Crozes», dérivé du latin crucem, qui signifie «croix» ou «croisement de chemins» et «Hermitage », du latin Heremitagium, ermitage en français, qui fait référence à la colline
dominant le Rhône au sommet de laquelle le chevalier de Sterimberg, de retour de la croisade contre les Albigeois, s'installa pour vivre en ermite.