Halkın kale adını verdiği bu kayaların hepsi, Andezit veya Kalker türü tüfitlerden oluşur. Bu yüzden özellikleri birbirinden farklı. Dış etkenlere daha mukavim olacağı düşüncesiyle, bazı önemli yerler, hep bu tür sert kayalıkların içine oyulmuş. Maalesef bu sertlik de onun yok olmasını getirmiş; sert taşı yüzünden, bina yıktırılarak taşlarıyla Avanos’a Köprü yapılmış. İşte böylesi bir yer, Bizans Döneminde Adliye sarayı olarak kullandığı sanılan yer. Kasaba merkezine 1 km. mesafede bulunan bu tarihi yer, bir temizleme çalışması sırasında tesadüfen gün yüzüne çıkarıldı. Yapının, karmaşık bir bina olarak yapıldığı anlaşılmakta. Kalıntıların incelenmesinden anlaşıldığına göre, yapıya girişte nöbetçi nizamiyesi, onun yanında sorgulama hücresi, üst kademede tutuklu hücresi ve yanında yargılama salonu bulunmakta. Salonun içinde yargıç ve jüri üyelerinin oturduğu yerler, savunmanın yapıldığı mahal, seyirci locaları ve ceza infaz zindanına gizli geçitlerle bağlantılı müştemilatların kalıntıları bulunmakta. Salona bitişik olmakla beraber, salondan daha aşağı kademede, içerisinde 12 adet mezar bulunan birde mezarlık ortaya çıkartılmış. Mezarların birinin içinde başı giyotin uygulanarak kesilmiş bir de ceset bulunmuştu. Bu yerde yapılan ilk incelemeye göre, yargılama salonuna getirilen tutuklu, her tarafı kapalı bir tünelden geçirilerek yargı mahalline getirilmekte. Alacağı cezaya göre, ya infaz zindanına ya da giyotin uygulanan yere yine aynı usulle götürülmekte. Yapının ana giriş kapısının sol tarafında bulunan küçük mekanların, danışma ve ziyaretçi yeri olduğu, tutuklu yakınlarıyla görüştürülmeye tünelden geçirilerek oraya getirildiği anlaşılıyor. Bu tünelin ancak birkaç metre uzanan ön kısmı sabit kalabilmiş olup, arka kısmı uzanan ön kısmı yok edilmiş durumda. Nizamiye geçidini müteakip geniş basamaklarla ikinci kata çıkıldığı, çıkışın sağında birkaç basamakla aşağıya inilerek ulaşılan ve mutfak olarak kullanılmış olduğu anlaşılan küçük bir mekan daha var. Çıkışın solunda ise sadece taban zemini sağlam kalabilmiş çok geniş bir salon bulunmakta.