Сделал на сайте 404 ошибку, теперь при нажатии на категорию не выводятся записи из нее, а редиректит на 404 страницу.

Может стоит галочка на “Включить строгие URL” ?

Эта функция использует более строгие правила для URL и взаимодействует с функцией 404 (вызов несуществующей страницы). Более подробную информацию можно найти в Руководстве пользователя.