Oi Vinícius, tudo bem?
Realmente fica difícil explicar todos estes recursos detalhadamente numa mensagem de fórum.
Também não vai encontra tutoriais que descrevem isso, porque informações sobre o Mental Ray são restritas e valiosas, vai levar uns anos ainda para surgir tutoriais assim de Mental Ray no Max, que a integração é muito recente.
Se você quer saber detalhadamente o que faz e para que serve cada recurso de cada janela do Mental Ray, com certeza o vídeo curso do site será um ótimo invertimento, porque vai saber tudo isso detalhadamente e muito mais.
Mas para te esclarecer sobre estas perguntas, são recursos de otimização do render, principalmente usados com o Distribuited Bucket Render, o Memory Limit deve ficar com uma vez e meia a quantidade de memória física da máquina, se a sua máquina tem 1 GB, 1500 está perfeito.
O Conserve Memory não deve ser usado, ele é para conservar a memória quando a máquina é muito fraca para o render, só que isso faz demorar bem mais, apesar de renderizar com pouca RAM.
No seu caso pode ser necessário em alguns casos, porque 1 GB é pouco.
Abraços