The companions of Muhammad ﷺ did not consider the abandonment of any deed to be disbelief except for prayer.
حدثنا قتيبة حدثنا بشر بن المفضل عن الجريري
كان أصحاب محمد ﷺ لا يرون شيئا من الأعمال تركه كفر غير الصلاة
No references are available.
[Its chain of transmission is sahih.] It also has another route in Hakim, 7/1.