হাটহাজারীতে মাটির ঘর তেমন আর চোখে পড়েনা। মাটির ঘর ক্রমেই হারিয়ে যাচ্ছে। জানা যায়, এক সময় হাটহাজারীসহ চট্টগ্রামের বিভিন্ন উপজেলায় বিশেষ করে যেখানে বন্যার প্রকোপ তেমন ছিল না, এসব জায়গায় অপেক্ষাকৃত বিত্তশালীরা মাটির ঘর নির্মাণ করতেন। কারণ মাটির ঘর আভিজাত্যের ও সম্মানের প্রতিক। সেই হিসাবে বিত্তশালীরা স্থায়ী হিসাবে মাটির ঘর নির্মাণ করতেন। তখন বর্তমান সময়ের মতো পাকা দালান নির্মাণ করার তেমন প্রবণতা ছিল না। কারণ পাকা ঘর নির্মাণের প্রধান উপকরণ ইট ছিল দুুপ্রাপ্য। একমাত্র সরকার বিভিন্ন উন্নয়ন কর্মকান্ডের জন্য ইটভাটা নির্মাণ করে নিজস্ব তত্ত্বাবধানে ইট তৈরি করত। ব্যক্তিগতভাবে কেউ পাকা ঘর নির্মাণ করতে চাইলেও ইটের অভাবে পাকাঘর নির্মাণ করা সম্ভব হতো না। ইটের ঘর নির্মাণ করতে গেলে নিজস্ব ইটভাটা করতে হতো। ইটভাটা করা খুব ব্যয়বহুল ছিল। তা ছাড়া ইট তৈরি করার কারিগরেরও অভাব ছিল। তাই সৌখিন বিত্তশালীরা মাটির ঘর নির্মাণ করত। 

গ্রামের অপেক্ষাকৃত আভিজাত্য পরিবারের লোকজন দ্বিতল করে মাটির ঘর নির্মাণ করলে অনেকেই সেই ঘর দেখতে আসত। জনশ্রুতি রয়েছে, একসময় মিয়ানমার থেকে পোকামাকড় বিধ্বংসী কাঠ এনে দ্বিতল মাটির ঘর নির্মাণ করা হতো। ঘরের দরজা-জানালা সেই কাঠ দিয়ে লাগানো হতো। মাটির ঘর ও শীতের দিনে অপেক্ষাকৃত গরম এবং গরমের দিনে অপেক্ষাকৃত ঠান্ডা। তাই মাটিরঘরকে প্রাকৃতিক শীতাতপ নিয়ন্ত্রিত ঘর হিসেবে অনেকেই আখ্যায়িত করে।কালক্রমে সেই আভিজাত্যের প্রতিক মাটির ঘর হারিয়ে যাচ্ছে। কারণ মাটির ঘর নির্মাণ করতে বড় পরিসরের জায়গা দরকার। তা ছাড়া মাটির ঘর নির্মাণের কারিগরও আগের মতো নেই। যত্রতত্র ইটভাটা স্থাপন পাকাঘর নির্মাণের উপকরণ সহজলভ্য হওয়ায় এখন প্রত্যেক এলাকায় মাটির ঘর বাদ দিয়ে পাকাঘর নির্মাণের হিড়িক পড়েছে।
মাটির ঘর বর্তমানে বিলুপ্তপ্রায়। কোনো স্থানে মাটির ঘর শহরে বসবাসকারী বর্তমান প্রজন্মের সন্তানদের জন্য এই ঘর একটি ব্যতিক্রমধর্মী ঘর। অনেকেই মাটির ঘরের খবর পেয়ে সেই ঘর দেখার জন্য ভিড় করে। বর্তমানে এই দ্বিতল মাটির ঘর এখন আর চোখে পড়ে না।