Oi Estrazulas, tudo bem?
Quando o Max exibe o Schematic Material Editor pela primeira vez com um renderizador ele precisa gerar todas as miniaturas dos Shaders e mapas, então, pode ser algum problema na hora de renderizar estes Previews.
Para ter certeza que é isso você precisa abrir o Material Editor no modo Compact, pois assim não vai precisar gerar as miniaturas até que você clique no Get Material para abrir o Material/Map Browser.
Porém, para fazer isso de dentro do 3ds max vai ter que abrir o Schematic Material Editor e acessar o menu Modes para trocar para o Compact Material Editor, então, primeiro precisa voltar o renderizador para o Scanline, assim poderá acessar o Schematic Material Editor sem fechar o programa.
Mas se quiser também pode fazer por fora do 3ds max editando o arquivo CurrentDefaults.INI que fica na pasta C:\\Users\SeuNome\\AppData\Local\Autodesk\3dsmax\versão_do_Max\ENU\en-US\defaults\Preset_que_esta_usando\
No caso, o Preset que está usando é o do Custom UI And Defaults Switcher que fica no menu Customize do 3ds max, se não mudou nenhum Preset, então, a pasta será a MAX, se escolheu o Preset do V-Ray a pasta será a MAX.vray.
Dentro do arquivo INI você deve procurar o item [Medit], logo abaixo dele vai estar o código EditorMode=1 e você deve mudar para EditorMode=0
Faça isso com o Max desligado, assim, quando iniciar o programa e mandar abrir o Material Editor vai abrir o Compact em vez do Schematic.
Se der certo e abrir o Compact Material Editor sem problema com o V-Ray habilitado como renderizador, clique no Get Material para abrir o Map/Browser e se fechar o programa neste ponto é certeza que o problema está na renderização das miniaturas.
Abração e tudo de bom.
André Vieira