During the time of the Prophet ﷺ, there was no wall surrounding the Kaaba. People used to pray around the Kaaba until the time of Umar, who built a wall around it.Ubaydullah said, "Its wall was low, so Ibn Zubayr rebuilt it higher."
حدثنا أبو النعمان حدثنا حماد بن زيد
لم يكن على عهد النبي ﷺ حول البيت حائط كانوا يصلون حول البيت حتى كان عمر فبنى حوله حائطا قال عبيد الله جدره قصير فبناه ابن الزبير