এলাকাবাসীর মতে, রাজা শালবাহন ছিলেন পাল বংশের এক শাসনকর্তা এবং তার মায়ের নাম ছিল আড়োলা দেবী। রাজার মায়ের নামানুসারেই আড়োলা গ্রামের নাম রাখা হয়।
দশম শতকে এ রাজপ্রাসাদ নির্মাণ করা হয় বলে এলাকাবাসীর জানা যায়।
প্রাচীনকালের বেশ কিছু ধ্বংসাবশেষ দেখে রাজপ্রাসাদের অবস্থান সম্পর্কে বেশ কিছুটা নিশ্চিত হওয়া যায়।
আড়োলা বাজারের বর্ষীয়ান তমজেদ আলীর উঠে আসে বয়ানে স্থানীয় বিশ্বাস। তিনি জানান, রাজপ্রাসাদের মধ্যে নাকি কাচের আঙিনা রয়েছে। বৃষ্টি হলে এখনও পানি জমে না। রাজারা মহলের চারপাশে বিশাল খাল কেটেছিল।
এখানে মাটি খনন করলে এখনও কাচের টুকরো পাওয়া যায়। এই স্থানে প্রত্নতত্ত্ব বিভাগের সাইনবোর্ড ঝোলানো হলেও তাদের পক্ষ থেকে মহলটি সংরক্ষণে নেওয়া হয়নি কোনো পদক্ষেপ।
এলাকাবাসী মনে করে স্থানটি সংরক্ষণ না করা হলে এক সময় মানষ ভুলে যাবে এর ইতিহাস।