OI gente, tudo bem?
Realmente o Jonathan tem razão.
Não dá para usar o Normal Map como Displacement.
Ele é para fazer saliências até mais profundas que o Bump, mas fazer uma montanha de um Plane não dá.
Para usar o Normal Map tem que ter o objeto em alta resolução com a rugosidade criada de verdade no Mesh, ai o Max vai gerar um mapa especial baseado nas Normals do objeto original, por isso ele tem que ter as rugosidades no próprio Mesh.
Não dá para aplicar um Bump num objeto liso e gerar o Normal Map dele.
O que pode é criar Normal Maps com técnicas de pintura e filtros no PhotoShop, sem base de modelo nenhum, com base numa imagem 2D, e depois aplicar num modelo.
Agora, pela sua mensagem, o problema não é com o Normal Map, é com o mapeamento, o Render to Texture depende de um mapeamento perfeito para ele trabalhar, se não houver ele vai aplicar um Unwrap, só que ai você não tem mais controle, é melhor você aplicar e ajustar o Unwrap antes de ir para o Render to Texture.
Abraços