2004 साली 'शायनिंग इंडिया'ची घोषणा देणारा भाजप निवडणुकीत पराभूत झाला आणि काँग्रेस सत्तेत आली. सोनिया गांधींनी 'अंतरात्म्याची हाक' ऐकत मनमोहन सिंगांकडे सत्तेची सूत्रं सोपवली. विरोधी पक्ष नेत्याचं पद वाजपेयींऐवजी लालकृष्ण अडवाणींकडे गेलं.
त्यानंतर वाजपेयींचा सार्वजनिक जीवनातला वावर एकाएकी कमी झाला. वाजपेयी सार्वजनिक जीवनातून निवृत्त होणार नाहीत, असं सुषमा स्वराज म्हणाल्या असल्या तरी त्यावर उलटसुलट चर्चा सुरू होती. अखेर 2005 साली मुंबईत शिवाजी पार्क इथे भाजपच्या रौप्य महोत्सवी कार्यक्रमात वाजपेयींनी निवृत्तीची घोषणा केली. पल्लेदार भाषणांसाठी ओळखल्या जाणाऱ्या वाजपेयींनी त्रोटक भाषण करत पक्षाची जबाबदारी अडवाणी आणि प्रमोद महाजन या नव्या 'राम आणि लक्ष्मणा'च्या जोडीकडे सोपवली.
लखनौतून निवडून आलेले वाजपेयी अजूनही लोकसभेचे खासदार होते पण प्रकृती अस्वास्थ्यामुळे आता त्यांना संसदेच्या कामकाजात नियमितपणे भाग घेणं शक्य नव्हतं. 2007 साली राष्ट्रपतीपदाच्या निवडणुकांसाठी व्हीलचेअरवरून मतदानासाठी आलेल्या वाजपेयींना पाहणं अनेकांना चटका लावून गेलं.