Es conocido lo exigente que es en memoria la actual versión de composer, algo que esperamos mejore en la nueva versión 2, mientras tanto, si lo que necesitas es poder definir la memoria con la que ejecutará composer, lo puede hacer de la siguiente manera.
$ php -d memory_limit=512M /usr/local/bin/composer
Un ejemplo lo podemos ver a continuación instalando el módulo Config Ignore en donde se define un consumo ilimitado de memoria.
$ php -d memory_limit=-1 /usr/local/bin/composer require drupal/config_ignore