The prayer was called to begin while the Messenger of Allah ﷺ was speaking privately with a man. In the version narrated by Abd al-Warith, the wording is, "And the Prophet of Allah ﷺ was conversing privately with the man." He did not rise to perform the prayer until the people had fallen asleep.
حدثني زهير بن حرب حدثنا إسمعيل ابن علية ح و حدثنا شيبان بن فروخ حدثنا عبد الوارث كلاهما عن عبد العزيز
أقيمت الصلاة ورسول الله ﷺ نجي لرجل وفي حديث عبد الوارث ونبي الله ﷺ يناجي الرجل فما قام إلى الصلاة حتى نام القوم