The Prophet ﷺ left me in good spirits and content, but when he returned he was sorrowful. I asked him about it, and he said, "I entered the Kaabah, and I wish I had not done so. I fear that I have burdened my community after me."
حدثنا ابن أبي عمر حدثنا وكيع عن إسمعيل بن عبد الملك عن ابن أبي مليكة
خرج النبي ﷺ من عندي وهو قرير العين طيب النفس فرجع إلي وهو حزين فقلت له فقال إني دخلت الكعبة ووددت أني لم أكن فعلت إني أخاف أن أكون أتعبت أمتي من بعدي
[Its chain is daif] Abu Dawud narrated it in the Book of Rites, chapter on entering the Kaaba, hadith no. 2029, from the hadith of Ismail bin Abdul-Malik, and Ibn Majah, hadith no. 3064, from the hadith of Waki, through the same route. Ismail is daif, the majority of scholars judged him daif.