Guilherme,
Render por ID é uma opção de um recurso de renderização chamado Render Elements (é chamado dessa forma no 3ds Max, mas outros pacotes 3D podem chamar esse mesmo recurso de Render by Element, Render Layers ou Render Passes). O recurso Render Elements serve para que o usuário renderize separadamente os "elementos" de uma cena. Esse "elementos" não se restringem somente a identidades tais como objetos, luzes, entre outros. É possível renderizar separadamente vários tipos de elementos tais como materiais, sombra, reflexão, refração, luminância, background, entre muitos outros.
O 3ds Max oferece duas opções de render por ID: Object ID e Material ID. Como o próprio nome já diz, a opção Object ID, em Render Elements, permite que você renderize objetos separadamente, enquanto que a opção Material ID serve para renderizar materiais em separado. Para acessá-las, abra o painel Render Setup (tecla F10) e selecione a aba Render Elements. Clique no botão "Add..." e então, na janela Render Elements, selecione a opção desejada. Você pode configurar o renderizador para renderizar quantos elementos você desejar. Cada elemento será salvo como um arquivo (ou sequencia de arquivos, para o caso de ser uma sequencia de quadros) diferente, que pode ser configurado na área Selected Element Parameters.
Já para compor os elementos na pós-produção, é necessário usar um software de edição de imagens tal como o Photoshop ou um software de composição tal como o After Effects. Nesses softwares, existem muitos modos de composição tais como Multiply, Overlay, Dodge, Burn, Addition, Subtract, entre outros. Com esse modos mais as muitas opções de edição oferecidas por tais softwares é possível compor os elementos (ou camadas, passadas) de renderização, desta maneira criando sua imagem (ou vídeo) final.
Abs,
Chris Rezende.