Al concluir la campaña 1946-1947 en última posición, el equipo realiza el primer descenso de su historia y comienzan 25 años navegando sin demasiados sobresaltos por las dos categorías nacionales(2.B y 3) que sucedían a la Primera División. No obstante, en la temporada 1958-1959 el Castellón está a punto de bajar por primera vez a nivel regional tras sufrir una malissima racha en la segunda vuelta de la liga, pero un empate en la última jornada en Sueca que le permite finalizar el campeonato con un punto por encima del descenso.
En la jornada 38, en la Liga Adelante 2009-10 tras su derrota en Soria ante el C.D. Numancia por (2-1), el C.D. Castellón realizaba su descenso a la Segunda División B después de 5 años en la Segunda División de España. Fue una nefasta temporada del CD Castellón donde quedó último clasificado con 33 puntos a 18 de la salvación que marcaba el Gimnàstic de Tarragona. En la temporada 2010-2011 con la esperanza de volver a la categoría de plata , el club acabó en una discreta décima posición presentando problemas económicos. Estos problemas aumentaron cuando la RFEF anunció que el CD Castellón tenía una deuda de más 400.000€ con ex futbolistas y otros miembros del club y que debían de pagar antes del 24 de Junio. Finalmente, al no presentar la deuda ante la AFE, el club consumó un descenso administrativo hacia la Tercera división
Tras el descenso, el grupo Castellnou 2005 SL deja de ser el máximo accionista del CD Castellón ya que consiguen llegar a un acuerdo para la venta del club con Fernando Miralles y con Fernando Gómez Colomer, exfutbolista del CD Castellón. La gestión de los nuevos propietarios no fue como se esperaba y acabaron dimitiendo a los seis meses de estar en el cargo alegando "falta de apoyo y comprensión, en mayor o menor grado, por parte de las instituciones".
Tras la dimisión de Miralles y Colomer la situación del Castellón es muy crítica y el club llega a estar al borde de la desaparición hasta que en 2012 el club es vendido a un grupo de inversores valencianos encabezado por David Cruz Jofre, mientras que una gran parte de aficionados inician recogida de firmas y realizan manifestaciones contra los antiguos propietarios del club que, a través de facturas falsas y otros delitos societarios, habían causado una corrupción de 5,3 millones de euros en las arcas albinegras.
En la temporada 2012-13 el equipo acaba la liga regular en cuarta posición, otorgándole el privilegio de jugar los playoffs de ascenso a Segunda división B sin embargo sería eliminado por el Córdoba CF B. En la temporada siguiente el club toca fondo, quedando decimoquinto en la tabla a cuatro puntos del descenso.
Los albinegros acabaron líderes del grupo VI de tercera división en la campaña 2014-2015 con varias jornadas de antelación. Aquella plantilla estaba formada por ex jugadores de primera división como Rubén Suárez que jugó en equipos como el Levante UD o la UD Almería; sin embargo el CD Castellón volvería a ser eliminado en la promoción de ascenso. En las dos siguientes temporadas el club se quedó a las puertas del ascenso, protagonizando por eliminaciones crueles como perder una tanda de penaltis ante el Gavà o caer eliminado en el minuto 96 ante el Peña Sport de Tafalla.
En este punto, la situación del CD Castellón era insostenible por la mala gestión del presidente David Cruz , ya que no consigue hacer frente a las deudas y el club teme por la desaparición. Tras varias reuniones, el presidente dimite y el club es adquirido por Vicente Montesinos y por dos ex-albinegros como Ángel Dealbert y Pablo Hernández. David Cruz acaba siendo investigado por la justicia siendo expuesto a penas de prisión por administración desleal en su etapa al frente del club.