На аналоговый выход подаётся сигнал прошедший цифроаналоговую обработку, как правило, это либо стереовыход (левый и правый канал), либо многоканальный выход (если речь идёт о DVD-проигрывателе со встроенными декодерами). На коаксиальный выход сигнал подаётся в цифровой форме (либо PCM 2-х или многоканальный, либо Bitstream). Для прослушивания музыки теоретически лучше подключаться по аналогу, однако в каждом конкретном случае лучше индивидуально определить, при каком подключении звучание лучше. И вдобавок, если речь идёт о DVD-проигрывателе, по-любому придётся подключаться к AV-ресиверу и по цифре тоже, для получения многоканального кинозвука.
Если же у Вас не AV-ресивер, а стереоусилитель, то в данном случае возможно только аналоговое подключение.