Abu Zubayr Makki reported,

I have seen the House standing empty after the dawn prayer and after the Asr prayer, with no one circling it at all.

و حدثني عن مالك

عن أبي الزبير المكي أنه قال

لقد رأيت البيت يخلو بعد صلاة الصبح وبعد صلاة العصر ما يطوف به أحد