Bom primeiro vamos só esclarecer um pouco mais a coisa, não é totalmente correto dizer que o fundo seja transparente, o que vc vai ter é um canal alpha, ou seja uma imagem RGB tem 3 canais de cores Red, Green e Blue quando vc salva um canal alpha ele adiciona um quarto canal na imagem que nada mais é que uma mascara em preto e branco, onde estiver preto ela vai recortar e vazar onde tiver branco não. O canal alpha tb trabalha com tons de cinza, assim um objeto vitreo por ex. pode vazar no alpha (bom no vray eu sei que isso é possível).
Quanto a gerara um canal alpha no 3d, o que não for um "objeto" ira vazar, ou seja não importa a cor ou se tenha uma imagem no enviroument, ele ira vazar. Quando vc for renderizar uma animação e estiver usando motion blur, eu recomendo vc deixar ou branco ou preto no enviroument, para que o after ou um outro software qualquer vaze ele com mais facilidade e perfeição.
No photoshop vc tem que criar a seleção a partir do canal alpha que fica em "chanels", e então remover o fundo ou criar uma mascara. Ele não vaza automaticamente.