ปราสาทตาควาย ตั้งอยู่บนสันเขาห่างจากหน้าผาสูงประมาณ 10 เมตร ของเทือกเขาพนมดงรัก เป็นปราสาทจตุรมุข ตั้งหันหน้าไปทางทิศตะวันออก ผังของปราสาทเป็นรูปกากบาท ส่วนฐานต่ำ ส่วนล่างสุดก่อด้วยศิลาแลง ส่วนบนก่อด้วยศิลาทรายทั้งหมด หลังคาห้องครรภคฤหะ ก่อเป็นทรงพุ่มยอดปรางค์ ซ้อนลดหลั่นกันขึ้นไป 5 ชั้น ส่วนหลังคามุขก่อเป็นรูปประทุน จรดหน้าบันทั้ง 4 ด้าน ภายในห้องมีประติมากรรม ลักษณะคล้ายสวายยัมภูวลึงค์ 1 ชิ้น
นักประวัติศาสตร์คาดการณ์จากรูปทรงของตัวปราสาท ว่าปราสาทนี้น่าจะสร้างในช่วงปลายสมัยนครวัด ต่อตอนต้นสมัยบายน ระหว่างรัชกาลพระเจ้าสุริยวรมันที่ 2 ถึงพระเจ้าชัยวรมันที่ 7