Hola realmente hay muchas cosas que podemos hacer, hubiera estado bien que nos contaras tu puntaje y a cual deseas aspirar
Lo que podriamos hacer seria
Almacenamiento en cache
Optimizacion css, javascript, html
Optimizar imagenes o convertiras a un formato de nueva generacion
Verificar las propiedades criticas de css
Crear Paginas AMP
O incluso verificar que algun plugin instalado este afectando directamente a la puntuacion,
Incluso tu propio host puede estar afectando la puntuacion,
Si gustas contactame y lo hablamos con mas calma