Entenda que o mental ray é um renderizador externo, toda a informação tem que ser convertida para um formato que ele entenda, por isso nem tudo é compativel com ele, como alguns materiais e mapas, ja ouviu falar dos bercon maps? São ótimos procedurais só que não funcionam no mental ray...
Já o vray e o finalrender são plugins do max, roda dentro dele e por isso não possuem tantos problemas de compatiblidade e portanto conseguem renderizar o afterburn por exemplo. Para entender, o fumeFX, da mesma fabricante do afterburn, teve que fazer uma compatibilidade para poder renderizar no mental ray, que veio na ultima versão 1.2, antes ele também não renderizava no mr.
Mas como falaram, em geral renderize esses efeitos separado e depois faça a composição, principalmente pq as luzes costumam trabalhar de forma diferente, o afterburn por exemplo precisa usar a AB Shadows.