এগার বছর বয়সে এক আত্মীয়ের বাড়িতে কলের গান (গ্রামোফোন) দেখেন। আর তখন থেকেই ওই যন্ত্রে গান গাওয়ার ইচ্ছে তার। তারপর থেকেই প্রতিদিন আত্মীয়ের বাড়িতে গান শুনতে যেতেন আব্দুল আলীম।
গানের ঘোরে স্কুলের পাঠ চুকেবুকে গেল। কিশোর বয়সেই শুরু হলো গান চর্চা। তারই গ্রামের সংগীত শিক্ষক সৈয়দ গোলাম ওলির কাছে তালিম নিতে শুরু করেন। ওস্তাদ আব্দুল আলীমের প্রতিভায় মুগ্ধ হন তিনি।
তবে অজ পাড়াগাঁয়ে সংগীত শেখবার বড় সুযোগ না থাকায় তার বড় ভাই শেখ হাবিব আলী তাকে কোলকাতায় নিয়ে গেলেন।
১৯৪২ সালে শেরে বাংলা একে ফজলুল হক এলেন কোলকাতা আলিয়া মাদ্রাসায়। সেখানে সাংস্কৃতিক অনুষ্ঠানে আব্দুল আলীমের গান শুনে কিশোর আলীমকে জড়িয়ে ধরে শেরে-বাংলা শিশুর মতো কেঁদে ফেললেন।
এরপর একদিন গীতিকার মো. সুলতান কোলকাতায় মেগাফোন কোম্পানিতে নিয়ে গেলেন আবদুল আলীমকে। সেখানে কবি কাজী নজরুল ইসলামের সঙ্গে তার পরিচয় হয়। কবি তার গান শুনে মুগ্ধ হয়ে রেকর্ড কোম্পানির ধীরেন দাসকে আবদুল আলীমের গান রেকর্ড করার নির্দেশ দেন।
১৯৪৭ সালে আবদুল আলীম কোলকাতা ছেড়ে গ্রামের বাড়ি ফিরে এলেন। ১৯৪৮ সালে ঢাকা বেতারে অডিশন দিয়ে পাশ করলেন। ওই বছরই অগস্টের ৯ তারিখে তিনি বেতারে প্রথম গান গাইলেন।
১৯৬২ সালে বার্মায় সংগীত সম্মেলনে অংশ নেন তিনি। সাংস্কৃতিক দলের সদস্য হয়ে ১৯৬৩ সালে রাশিয়া এবং ১৯৬৬ সালে চীনও সফর করেন।
বেতার ও টেলিভিশন ছাড়াও অসংখ্য ছায়াছবিতে গান করেন। তৎকালীন পূর্ব পাকিস্তানের প্রথম ছবি ‘মুখ ও মুখোশ’-এ কণ্ঠ দেন।
১৯৬০ সালে গ্রামোফোন কোম্পানি প্রতিষ্ঠিত হওয়ার পর তার গান অসম্ভব জনপ্রিয়তা লাভ করে।
আব্দুল আলীম একুশে পদক, জাতীয় চলচ্চিত্র পুরস্কার, পূর্বাণী চলচ্চিত্র পুরস্কার, বাচসাস চলচ্চিত্র পুরস্কার ও স্বাধীনতা পুরস্কারসহ নানা সম্মাননা পান।
১৯৭৪ সালের ৫ সেপ্টেম্বরে মারা যান এই শিল্পী।