১৫২৭ সালের পরে কাবুল দুর্গে অবস্থানরত পরিবারকে আগ্রায় আনেন বাবর। ১৫২৯ সালে ঘাঘরার যুদ্ধে আফগানদের বিরুদ্ধে চূড়ান্ত বিজয় অর্জনের পরে আগ্রা দুর্গে পরিবারের সঙ্গে সময় কাটান তিনি। নানা সমস্যা মোকাবেলার মধ্য দিয়ে সময় পেরুচ্ছিলো। এরই মধ্যে স্ত্রী মাহাম বেগমকে নিয়ে ধোলপুর থেকেও একবার ঘুরে আসেন বাবর। এরপর বেদনার ঝড় নেমে এলো বাবরের জীবনে। পেটের প্রচÐ অসুখে মারা গেলেন তাঁর ও দিলদার বেগমের পুত্র আলোয়ার মির্জা। তীব্র শোকের মধ্যে বাবর সিদ্ধান্ত নিলেন সপরিবারে ধোলপুরে যাবেন। স্থান বদল অনেক সময় মানসিক ব্যথাভার কমিয়ে আনে। কিন্তু সেখানে গিয়ে মুখোমুখি হলেন আরেক দুঃসংবাদের। দিল্লি থেকে চিঠি পাঠালেন মাওলানা মুহম্মদ ফারঘালি। সেখানে খুবই অসুস্থ বাবরের প্রিয় পুত্র হুমায়ুন। বাবর দ্রæতই যাত্রা করলেন আগ্রার দিকে। ফিরতি পত্রে হুমায়ুনকে আগ্রায় পাঠানোর নির্দেশ দিলেন। হুমায়ুনের মা মাহাম বেগম পুত্রের অসুস্থতার খবরে বেহুঁশ হচ্ছিলেন বারবার।

বাবরের সন্তানদের মধ্যে হুমায়ুন ছিলেন সবচেয়ে প্রিয়। হিন্দুস্তান অভিযানের সময় শাহাজাদা হুমায়ুনই সঙ্গ দিয়েছিলেন পিতাকে। তার সাহসিকতা, বুদ্ধিমত্তা, উন্নত বৈশিষ্ট্য বাবরকে দিয়েছিলো প্রগাঢ় আশ্বাস, প্রবল প্রতীতি। পিতা-পুত্রের বোঝাপড়া ও বন্ধন ছিলো নিবিড়। জীবনের শেষ অবধি তা বজায় ছিল। হুমায়ুনের অসুখ বাড়ছিলো প্রতিদিন। বাড়ছিলো মাহাম বেগমের হতাশা ও ব্যাকুলতা। অস্বাভাবিক আচরণ করছিলেন প্রায়ই। কিন্তু বাবরের আবেগ ছিলো আরো গভীর। কিন্তু নিঃশব্দ। পুত্রের রোগব্যথা তার হৃদয়কে চৌচির করে দিচ্ছিলো। তিনি রোগশয্যার পাশে বসে নিয়মিত মোনাজাত করতেন। সর্বোন্নত চিকিৎসা চলছিলো। ডাক্তার, কবিরাজ, দরবেশ, তান্ত্রিক; সবাই সব চেষ্টা করছেন। কিছুতেই কিছু হচ্ছে না। অবশেষে দরবারের কিছু সুফি দিলেন এক পরামর্শ। তারা বললেন, বাবর যদি নিজের জীবনের সবচেয়ে প্রিয় বস্তুটি উৎসর্গ করে দেন, তাহলে হয়তো আল্লাহ তার পুত্র হুমায়ুনের জীবন ভিক্ষা দিতে পারেন।