Oi gente, tudo bem?
Realmente é isso que o Malucow explicou, o Composite é como se fossem os Layers do PhotoShop, mas só tendo a opção de máscara, Additive, Subtractive e Mixer, com o plugin Composite Mode, que é gratuito e tem para download na Três D1 você tem também todas aquelas opções de mesclagem que tem no PS, tipo Overlay, Screen, Hard Light, Soft Light, Darken, essas coisas.
Mas isso falando do Mapa Composite, neste caso na minha opnião é melhor usar o PhotoShop, porque a mesclagem é calculada no render e faz demorar mais, se vai mesclar duas imagens é muito melhor fazer isso no PhotoShop e já colocar mesclada como Bitmap comum.
A utilidade dele seria em animação, porque não pode animar a mesclagem no PhotoShop, mas nesse caso eu sugiro que faça a animação num composer, como o Combustion e aplique o AVI como textura usando um Bitmap comum.
Agora o Material Composite é outra coisa, faz a mesma coisa só que com materiais, ai seria impossível fazer no PhotoShop e no Combustion, teria que fazer o material num DarkTree da vida, complica bem, então o Material Composite permite mesclar diversos materiais como Layers no PhotoShop, se for só dois materiais pode usar o Blend, mas sendo diversos pode "blendar" com o Composite, inclusive usando Blend dentro dos Slots dele, ai as possibilidades são infinitas.
Abraços