He was riding behind the Prophet ﷺ, and he continued to recite the talbiyah until he threw the pebbles at Jamrat al-Aqaba.
أخبرنا أبو عاصم خشيش بن أصرم عن علي بن معبد قال حدثنا موسى بن أعين عن عبد الكريم الجزري عن سعيد بن جبير عن ابن عباس
أنه كان رديف النبي ﷺ فلم يزل يلبي حتى رمى جمرة العقبة
[Its chain of transmission is sahih. Ahmad narrated it: 1/214, from the hadith of Abdul-Kareem, through the same chain, and it is in Kubra, hadith no. 4088.