ปราสาท Aggstein แฝดสร้างขึ้นบนโขดหิน 2 แห่ง คือ "Stein" ทางตะวันตกเฉียงใต้ และ "Bürgl" ทางตะวันออกเฉียงเหนือ ที่เรียกว่า "Bürgl" มีฐานรากเหลืออยู่เพียงไม่กี่แห่ง เนื่องจากปราสาทถูกปิดล้อมและถูกทำลายถึงสองครั้ง ครั้งแรกในปี 1230/31 อันเป็นผลมาจากการจลาจลของ Kuenringer ภายใต้ Hadmar III กับ Duke Frederick II ผู้ดุร้ายซึ่งมาจากตระกูล Babenberg ซึ่งเป็น Duke of Austria และ Styria ตั้งแต่ปี 1230 ถึง 1246 และเสียชีวิตในปี 1246 ใน Battle of the Leitha กับกษัตริย์Béla IV ของฮังการี ปราสาท Aggstein ถูกปิดล้อมและถูกทำลายเป็นครั้งที่สองอันเป็นผลมาจากการลุกฮือของขุนนางออสเตรียเพื่อต่อต้าน Duke Albrecht I ในช่วงปี 1295-1296
ในช่วงครึ่งแรกของศตวรรษที่ 15 Jörg Scheck von Wald สมาชิกสภาและกัปตันของ Duke Albrecht V of Habsburg ถูกโจมตีโดยปราสาท Aggstein Jörg Scheck von Wald สร้างปราสาทที่ถูกทำลายขึ้นใหม่ระหว่างปี 1429 ถึง 1436 โดยใช้ฐานรากเก่าอีกครั้ง สาระสำคัญของซากปราสาท Aggstein ในปัจจุบันมาจากการสร้างใหม่นี้เป็นหลัก เหนือประตูที่ 3 ประตูตราแผ่นดิน ทางเข้าปราสาทจริง มีตราแผ่นดินนูนโดย Georg Scheck และจารึกอาคาร 1429