A resposta pode ser dada através de um exemplo que nos leva a uma conclusão geral.

De fato, se e , não podemos fazer h(g(x)), pois a função g nos fornece um resultado que é nulo ou negativo, isto é, nunca positivo, e, nesse resultado, não podemos aplicar a função h, pois não é possível extrair a raiz quadrada de um número negativo em R.
Esse exemplo nos mostra que, nem sempre, podemos compor funções.