Открытый слуховой тест кодеков на 96 кбит/с — отчет о результатах

Всем привет.

Эпопея с нашим международным многоформатным ABC/HR тестом наконец-то закончилась. Его подготовка началась еще зимой, однако была отложена на длительный срок. Кроме того, в ходе обсуждения на HydrogenAudio произошел конфликт с разработчиком Fraunhofer — он предлагал включить в тест FhG AAC, несмотря на то что в тесте AAC @ 96 kbps победил QuickTime —, а также с некоторыми другими участниками — например, с автором SoundExpert.

В итоге было решено перенести обсуждение на собственный форум Audiofolks. Организацией теста занимались: IgorC (в данное время живет в Аргентине, однако — что очень пригодилось — хорошо разговаривает по-русски), японец Kamedo2 и я (под ником с HA — Steve Forte Rio).

В дальнейшем, в ходе обсуждения также появился еще один спорный вопрос: каким образом выполнять выравнивание громкости между треками, а также как избежать клиппинга, и надо ли его вообще избегать. Мною было предложено либо предварительно занизить громкость треков на несколько дБ, чтобы после декодирования не было срезов, либо выполнять декодирование с плавающей точкой, а после делать понижение уровня. Однако, процедура теста требует использования только штатных декодеров (очень нежелательно пользоваться для декодирования сторонним софтом, например foobar2000), а далеко не все из них поддерживают декодирование с плавающей точкой. В итоге мы решили тестировать с возможным клиппингом — по крайней мере, так условия более приближены к реальным, когда портативный плеер декодирует с фиксированной точкой. От предварительного понижения уровня пришлось отказаться, так как это могло бы повлиять на качество кодирования (кодеры используют абсолютный порог слышимости — ATH).

После декодирования аудио мы воспользовались ресемплером SoX — в данном случае уже использовалось предварительное понижение уровня для исключения клиппинга в процессе передискретизации.

Итак, благодаря, главным образом, усилиям Kamedo2, тест стартовал 20-го июля. Именно он стал руководителем теста, так как по правилам IgorC не мог занять эту должность, являясь одним из участников разработки кодека Opus, включенного в наш тест.

Приятной особенностью данного теста стало то, что кроме перевода страницы теста на русский, сбором результатов занимался также я. Это весьма облегчило участь русскоязычных пользователей, не слишком знакомых с английским.

Начальной датой окончания теста было 30-е августа. Однако, из-за того что в это время года большинство людей было на отдыхе — за первый промежуток времени нам не удалось собрать достаточное количество результатов. Тест был продлён до 12-го сентября включительно.

По итогам теста: в нём приняли участие 38 человек, результаты 33-х участников были учтены. Около семи участников были русскоязычными. Всего было собрано 339 результатов. Данные о сборе были удобно оформлены с помощью созданного Kamedo2 веб-скрипта в в виде таблицы:

Таким образом нам удалось достичь ошибки менее 0.3 при доверительном интервале 95%.

Ну и сами результаты:

Как я и ожидал: полная безоговорочная победа Opus. Обратите внимание: ни на одном семпле его результаты не опустились ниже 4-х баллов, соответствующих слышимым, но не раздражающим отличиям, — выводы делайте сами.

Второе место — вполне логично — занял QuickTime AAC. Третье разделили Vorbis и LAME 3.99 V5 (со средним битрейтом 135 кбит/с). Кстати, очень важным моментом в данном тесте стало доказательство превосходства AAC над Vorbis. Причем Vorbis проиграл главным образом в кодировании стереопанорамы, с которой у него порой происходят совершенно фантастические вещи.

Опять же, что касается Opus — у него и качество на высоте, и разброс оценок низкий. Огромное спасибо разработчикам.

Также интересно взглянуть на диаграмму качество/битрейт:

Здесь видно, что AAC не отличается особой гибкостью битрейта, а алгоритм выбора битрейта OGG Vorbis несовершенен — присутствуют треки с низким битрейтом и относительно низким качеством.

У меня на этом всё. Не знаю, как вы, а я иду кодировать музыку для плеера в Opus --bitrate 96 ;)

Спасибо всем за участие. Удачи!

P. S. Более детальные графики (по пользователям, по семплам и т. п.) можно найти на Странице результатов.