Часовня в честь прп. Макария Желтоводского является составной частью архитектурной композиции храма Казанской иконы Божией Матери г. Козловка. Поэтому её история неразрывно связана с историей самого храма. Первый деревянный храм появился не позднее первой половины XVII века и сыграл ключевую роль в появлении вокруг него многочисленных русских селений. В 1698 г. на его месте на средства помещика В. Л. Есипова был возведён каменный трёхпрестольный храм, один из престолов которого был освящён в честь прп. Макария Желтоводского. В 1940 г. церковь была закрыта и переоборудована под клуб, а в 1961 г. разрушена до основания (кроме колокольни). На уцелевшем фундаменте храм был воссоздан и освящён Высокопреосвященнейшим митрополитом Варнавой в 2005 году. Уже на стадии восстановления часовня реконструировалась как часть архитектурной композиции храма. Пока нет сведений в какое время трёхпрестольный храм стал двухпрестольным, т. е. когда часовня была выделена как таковая.
В настоящее время часовня нуждается в дальнейшей реконструкции. В 2011 году были отштукатурены её стены.