Sur un bon serveur il est tout à fait possible de faire tourner WordPress sans aucune solution de cache pour peu que le développement ne soit pas trop complexe. Si des problèmes apparaissent c’est généralement lié à MySQL ( j’exclue PHP si la version installée est la version 7…).

Il convient alors de diagnostiquer :

https://fr.wordpress.org/plugins/query-monitor/

Puis d’adapter son code soit en essayant autre chose par exemple via du MySQL plus bas niveau (mais toujours avec l’object $wpdb) soit en faisant usage des transients, par exemple pour stocker un résultat de requête ou un appel à une API distante. https://codex.wordpress.org/Transients_API

Pour ce qui concerne l’optimisation des assets je recommande généralement les deux plugins suivants :

https://fr.wordpress.org/plugins/autoptimize/ pour la minification (HTML/CSS/JS)

https://wordpress.org/plugins/tiny-compress-images/ pour la compression des images.

Enfin, si les performances ne sont toujours pas à la hauteurs, des solutions de cache « statique » type « comet cache » ou « wp rocket » sont à envisager. Il faut simplement dans ce cas-là bien veiller à comprendre et maitriser les mécanisme de purge…