modificador displace> necessita de uma malha densa, as deformações ocorrem na malha dentro da viewport (pesa na viewport). Ele deforma a malha.
displacemente do material> é bom manter a malha um pouco densa, as deformações na malha só ocorrem no render (pesa no render). Ele subdivide e deforma a malha.
o bom do modificador é que vc já vê as alterações feita na propria viewport e não pesa muito no render, mas tem o problema de ficar pesado na viewport poe necessitar de uma malha bem densa.
o displacement do material mantem a viewport leve pelo fato de não nessecitar de uma malha muito densa, pois ele suddivide a malha, mas vc só consegue ver o resultado das alterações no render e na renderização é pesado. O peso depende da quantidade de subdivisões que está configurado para o displacement fazer na malha. Se deixar a malha um pouco mais densa poderá diminuir a quantidade de subdivisões do displacement e, assim, irá diminuir o tempo de render.