Ali bin Abu Talib reported,

When the verse was revealed, "And pilgrimage to the House is a duty owed to Allah by all people who are able to find a way there" [Aal Imran 3:97], they asked, "Messenger of Allah, is it every year?"He remained silent.They asked again, "Messenger of Allah, is it every year?"He replied, "No, and had I said yes, it would have become obligatory."So Allah revealed, "You who believe, do not ask about things which, if made clear to you, would distress you" [Maidah 5:101].

Tirmidhi 814

Daif

حدثنا أبو سعيد الأشج حدثنا منصور بن وردان عن علي بن عبد الأعلى عن أبيه عن أبي البختري

عن علي بن أبي طالب قال

لما نزلت {ولله على الناس حج البيت من استطاع إليه سبيلا} قالوا يا رسول الله أفي كل عام فسكت فقالوا يا رسول الله في كل عام قال لا ولو قلت نعم لوجبت فأنزل الله {يا أيها الذين آمنوا لا تسألوا عن أشياء إن تبد لكم تسؤكم}

الترمذي 814ضعيف
Contents
Reference
Commentary
Ayat
Collection
Jami Tirmidhi
Book
Hajj
Chapter
How many times Hajj is obligatory
Numbering
Darussalam 814
Tirmidhi 814