Oi Moises,
Abaixo vou colar a resposta do André
-------------------------------
Oi, tudo bem?
Esta questão envolve bastante coisa e o seu teste está sem sombras, quando aplicar sombras os problemas vão piorar e terá que aumentar muito o Antialiasing para resolver, elevando absurdamente o tempo de render no sistema normal.
Para não ter que escrever um livro aqui explicando os motivos, basicamente o ideal para renderizar cabelos longos e finos é usar a opção Rasterizer/Scanline, que fica no início da aba Renderer, e aplicar a sombra tipo Mental Ray Shadow Map nas luzes, esta é a única situação que é melhor usar a sombra MR Shadow Map do que a Raytraced no Mental Ray.
Para ter bom resultado na sombra precisa habilitar a opção Transparent Shadows no menu da MR Shadow Map, o valor do Samples controla a suavidade do mapa e o Map Size controla a resolução, então, para cabelos longos e finos é bom ter uma resolução maior, sugiro que use 1024 ou 2048.
Em anexo estou enviando uma imagem deste menu mostrando as configurações.
Nas configurações do Rasterizer, na aba Renderer, você controla a qualidade no valor do Shading e do Visibility, deve ficar bom com o Shading entre 4 e 6 e o Visibility com 25 ou 36.
Também estou enviando uma imagem em anexo mostrando as configurações do Rasterizer.
Agora, sobre as configurações do próprio Hair And Fur, é muito mais rápido renderizar cabelos longos e finos com qualidade usando a opção do Buffer em vez de MR Prim, mas você pode usar o MR Prim e obter a mesma qualidade, porém, com maior tempo de render.
Para renderizar mais rápido com o MR Prim você precisa desabilitar a opção Tip Fade dentro do menu Material Parameters do Hair and Fur, também precisa certificar que está com apenas 1 no Hair Passes no menu General Parameters, ainda renderiza mais rápido quanto menos Hair Segments tiver, mas para cabelos longos precisa de bastante Hair Segments, seja como for, com o Buffer é muito mais rápido.
Além de tudo isso, normalmente é preferível renderizar o passo do Hair and Fur separado para compor depois no Photoshop ou no After Effects, se for uma animação, em vez de renderizar tudo junto direto em 3D, principalmente para poder renderizar com o Rasterizer apenas o cabelo e renderizar o restante com Raytrace ou Unified, mas mesmo que a cena seja simples e possa renderizar tudo com Rasterizer, fica bem melhor renderizando separado e compondo no Photoshop do que renderizar junto, como mostram as imagens do teste que estou enviando em anexo.
O próprio Hair And Fur oferece as opções para renderizar separado quando está usando o Buffer, na janela dele na aba Effects tem o grupo Composite Method com a opção None, Off, Normal e G-Buffer.
Colocando na opção None ele renderiza apenas o cabelo com oclusão deixando pronto para compor, a opção Off renderiza apenas as sombras.
Mas é muito importante que salve a renderização do cabelo em Alpha, assim, poderá recortar facilmente no Photoshop mantendo todos os detalhes finos.
Para salvar com Alpha você pode escolher a extensão TGA, marcar a opção 32 Bits e desmarcar a opção Pre-Multiplied, como mostra a imagem que estou enviando em anexo.
No Photoshop você seleciona o cabelo através do canal Alpha na aba Channels, segurando o CTRL e clicando na miniatura do canal Alpha, assim, pode voltar para a aba Layers e arrastar o cabelo com o Shift apertado para cima da imagem com a sombra, desta forma vai cair no lugar certo.
Em anexo também estou enviando o teste gravado no 3ds max 2014, tem um com a renderização apenas da sombra, outro com a renderização apenas do cabelo e outro com os dois juntos, mas como disse acima, analise as imagens do cabelo renderizado separado da sombra e composto no Photoshop em comparação com o cabelo renderizado junto com o resto da cena.
Renderize os testes você mesmo e veja como todos vão rápido.
OBS: Também vale lembrar que coisas finas ficam serrilhadas quando a imagem tem baixa resolução, pois não tem pixels suficientes para descrever o detalhe, então, é melhor renderizar com uma boa resolução.
Se ainda tiver qualquer problema é só falar.
Abraços e tudo de bom.