Abu Badr, who I believe traced it back to the Prophet ﷺ, reported that he said, "The pebble pleads with the one who removes it from the mosque."
حدثنا محمد بن إسحق أبو بكر يعني الصاغاني حدثنا أبو بدر شجاع بن الوليد حدثنا شريك حدثنا أبو حصين عن أبي صالح
أبو بدر أراه قد رفعه إلى النبي ﷺ قال إن الحصاة لتناشد الذي يخرجها من المسجد
No references are available.
Sourcing, [its chain is daif] Baghawi related it in Sharh al-Sunnah, hadith no. 478, from the hadith of Abu Dawud, with the same wording. Abu Badr was uncertain about it being raised to the Prophet, so the chain is defective.