Im Altertum bereits ins religiöse Alltagsleben als Götterschmuck integriert, fand der Rosmarin in der antiken Medizin noch keinerlei Erwähnung. In der Antike galt er als heiliges Kraut, das der Göttin Aphrodite geweiht war. Die Römer glaubten, dass Rosmarin das Gedächtnis stärke, wodurch sich der lateinische Name „ros marinus“ = „Tau des Meeres“ prägte.
Erst im Mittelalter fand dieses Kraut zu seiner Bedeutung und wird in der Capitulare de villis von Karl dem Großen erwähnt. Allerlei Legenden ranken sich um die hübschen Zweige mit den blassblauen Blüten. So soll die Heilige Jungfrau Maria auf ihrer Flucht nach Ägypten den Mantel über einen Rosmarinstrauch gebreitet haben und ihm die ehemals weißen Blüten zu ihrem charakteristischen bläulichen Farbton verholfen haben.
Im 13. Jahrhundert hingegen erzählte man von einem Duftwasser, dass ein Einsiedler die Königin Elisabeth von Ungarn gewidmet haben soll, welches ihr ewige Schönheit bringen sollte. Einer weiteren Überlieferung nach wurde der Rosmarin im 16. Jahrhundert für die angebliche Heilung der Königin Isabella von Ungarn besonders geschätzt, die durch Gicht gelähmt war und durch den später nach ihr genannten „Aqua Reginae Hungariae“ (Rosmarinblütenwein) geheilt worden sein soll. In jedem Fall jedoch nutzte man im Mittelalter die harzigen Zweige für die Luftreinigung in Krankenzimmern und trug die Pflanze während der Pest als Schutz mit sich.
Rosmarin galt im Volksglauben als Pflanze der Liebe und des ewigen Gedenkens. „Wo Rosmarin wächst, da herrscht die Frau“, hieß es in alter Zeit. Auch als Grabpflanze und Schutz vor bösen Geistern wurde er genutzt.