Yn union i’r gogledd o wal yr anifeiliaid, mae seiliau concrit mawr a adeiladwyd ym 1937 i greu oriel gelf breifat ar dir y castell. Dyluniwyd y strwythur gwreiddiol gan F. R. Bates o Gasnewydd.
Bwriad perchennog y castell, 4ydd Ardalydd Bute (1881 – 1947), oedd arddangos casgliad o baentiadau a gysylltir â’i ystadau ym Morgannwg yma.
Lluniwyd cynlluniau helaeth a chynigiwyd ymgorffori Porth y Gorllewin fel rhan o’r oriel. Gosodwyd y sylfeini ond torrodd yr Ail Ryfel Byd ar draws y gwaith ar yr Oriel, ac ni chafodd ei chwblhau erioed.
Ym 1947, trosglwyddwyd y castell a rhan o’r tir i Ddinas Caerdydd gan Deulu Bute.
Ar ddechrau’r 1950au, ystyriodd y Cyngor adolygu’r cynllun, ond y gred oedd y gallai’r agosrwydd at Afon Taf achosi problemau pe bai llifogydd.
