ধারণা করা হয়, ১৭০৬ থেকে ১৭১০ সালের মধ্যে এই রাজবাড়ি নির্মাণ করা হয়। ১২০ একর আয়তনের এই বাড়িতে তৎকালিন নিরপত্তার জন্য চারদিকে গভীর দীঘি খনন করা আছে। এছাড়া রয়েছে ছোট বড় মোট পাঁচটি পুকুর।
ছোট তরফ এবং বড় তরফ নামে দুই ভাগে বিভক্ত রাজবাড়িতে ছোট বড় মোট আটটি ভবন এবং কালিমন্দির, শ্যামসুন্দর ও তারোকেশ্বর শিব মন্দির নামে রয়েছে তিনটি মন্দির।
শত বছরের ঐতিহ্যবহনকারী রাজবাড়িতে দেখা মিলবে নানা রকম বৃক্ষের। যেখানে রয়েছে শত শত পাখির বাস। সবুজে ঘেরা পরিবেশ সাথে পাখিদের কলকাকলি সহজেই মন কাড়বে যেকোনো মানুষের।
রাজবাড়ি ঘোরা শেষে বের হওয়ার সময় প্রবেশ দ্বারের বিপরীতে দেখা মিলবে কবি জীবনানন্দ দাশের লেখা বনলতা সেন কবিতার কিছু অংশ, "আমি ক্লান্ত প্রাণ এক, চারিদিকে জীবনের সমুদ্র সফেন, আমারে দুদণ্ড শান্তি দিয়েছিল নাটোরের বনলতা সেন।”