Oi Rafael, tudo bem?
Seja bem vindo ao nosso site, espero que participe bastante com a gente aqui no fórum.
Sobre a sua pergunta, realmente é uma questão muito difícil, dificílima.
É muito difícil fazer um mar real e muito pesado também.
Tudo vai depender da distância que a câmera vai estar da cena, um mar realista de perto é muito difícil.
As opções mais indicadas são:
Usar o programa Real Flow com o componente Real Wave, vai criar um mar animado realista com espuma gerada por partículas e tudo mais, pode até fazer simulações físicas de objetos e terreno interagindo com a água, o mar vai identificar o terreno e gerar a espuma com partículas perfeitamente.
Mas é super pesado e depende de conhecer muito bem o Real Flow para fazer bem feito e com o mínimo de problemas.
Outra opção é usar o plug-in Dream Scape, que tem o componente SeaScape para criar oceanos realistas, não vai gerar espuma com partículas, só com mapas procedurais, mas também fica muito bom em alto mar, na praia eu acho que não deve chegar nem perto do Real Flow na questão de realismo, só que é muito mais fácil de usar, é menos pesado, apesar de ainda ser pesado e leva muito menos tempo para calcular.
Abraços