Di dalam Benteng Oranje terdapat bangunan rumah Gubernur Jenderal dan Gubernur VOC. Selain itu, juga barak prajurit dan gudang senjata.
Bangunan lama pernah digunakan sebagai rumah sakit dan penjara bawah tanah. Namun kini lokasi itu digunakan untuk perkantoran.
Tersisa 13 Pucuk Meriam
Kini di Benteng Oranje terdapat 13 meriam yang tersisa. Ada dugaan beberapa meriam hilang dari tempat asalnya. Sejumlah asesoris pintu dan jendela juga banyak yang hilang digondol tangan-tangan jahil.
Di tengah lapangan terdapat lambang VOC berbentuk singa dan perisai, yang diletakkan di pinggir benteng.
Benteng Oranje adalah saksi bisu, betapa kayanya wilayah Nusantara bagian timur. Adanya rempah-rempah menjadi magnet bagi kedatangan bangsa Eropa, yang kemudian menjarah dan menguasai negeri ini, mulai dari bangsa Portugis, Spanyol, hingga Belanda, dan akhirnya Jepang.