Adriano Vasco Rodrigues admite que, no século XII, o local era já fortificado e que D. Afonso Henriques o conquistou e concedeu carta de foral aos seus moradores. Em 1217, Celorico teve foral passado por D. Afonso II e, em 1246, a fortificação foi cercada pelo futuro Afonso III, no quadro da guerra civil que então se viveu entre este monarca e seu irmão mais velho, Sancho II. O aspecto geral do castelo que chegou até hoje data de uma ampla reforma levada a cabo no reinado de D. Dinis e, ao que tudo indica, já durante o século XIV.