Оба компонента приблизительно равноценны по влиянию на звук.
В случае с усилителем важно, чтобы он хорошо "дружил" с акустикой, банальный подбор по паспортным данным абсолютно бесперспективен. А самые важные качества у усилителя - прозрачность(отсутствие окраски и "размывания" звука), хорошая нагрузочная способность, обусловленная применением качественного блока питания, способность устойчиво работать на "сложную" нагрузку.
В природе не существует увы усилителей, способных одинаково хорошо работать в тандеме с любой произвольной акустикой, приходится подбирать оптимальные связки опытным путём.
С CD-проигрывателем тоже не всё просто: с одной стороны, чем качественней (точней, прозрачней, динамичней) источник, тем лучше. Если источник выдаст посредственное звучание, то никакие, даже самые распрекрасные усилитель и акустика не смогут улучшить уже изначально ущербный сигнал.
Однако источник и усилитель должны соответствовать друг другу по уровню, чтобы более низкокачественный компонент не стал ограничителем всей системы, и вдобавок они должны хорошо сочетаться между собой по электрическим параметрам (некоторые источники достаточно "капризны" и посему с некоторыми же усилителями не очень хорошо "дружат").
Если в Вашем случае стоит вопрос о замене одного, а потом другого компонента, то лично я порекомендовал бы начинать с усилителя, поскольку плохое сочетание усилителя с акустикой в определённых условиях эксплуатации может привести к аварии.