Amr bin As reported,

He sent him to Ali to seek permission to visit Asma bint Umays, and Ali granted him permission. After he had finished his errand, the freedman asked Umar about that.Umar replied, "The Messenger of Allah ﷺ forbade us," or he said, "forbade that we enter upon women without the permission of their husbands."

حدثنا محمد بن جعفر قال ثنا شعبة عن الحكم قال سمعت ذكوان يحدث

عن مولى لعمرو بن العاص

أنه أرسله إلى علي يستأذنه على أسماء بنت عميس فأذن له حتى إذا فرغ من حاجته سأل المولى عمرا عن ذلك فقال إن رسول الله ﷺ نهانا أو نهى أن ندخل على النساء بغير إذن أزواجهن