Как проводится слепой ABX тест

1. Введение

В области аудио ABX тестом обычно называют метод определения слышимости различий между двумя звуковыми фрагментами. Метод наиболее эффективен для определения потенциальных различий, находящихся вблизи порога слышимости. Главным преимуществом теста является то, что слушатель не знает, какой именно фрагмент (из двух) воспроизводится в данный момент — таким образом полностью исключается т. н. «эффект пустышки». Другой важный момент — возможность выполнения нескольких проходов тестирования (точнее, многократное повторное тестирование), что значительно уменьшает влияние фактора случайности.

Происходит тест следующим образом: тестер присваивает кнопке A один фрагмент, кнопке B — второй, после чего программа случайным образом присваивает кнопке X любой из них (тестеру неизвестно, какой именно). Далее, посредством нажатий на кнопки, тестер может в любой последовательности неограниченно слушать A, B и X, после чего должен определить чему соответствует X: А или B. Затем тест повторяется.

По мере выполнения каждого прохода программа подсчитывает вероятность заблуждения тестера, т. е. вероятность того, что он не слышит разницу. Например, если тестер правильно ответил при первом проходе, вероятность будет 50%, если и второй проход даст такой же результат — 25%, и т. д.

Положительным (тестер действительно слышит различия) результат считается после как минимум 11-ти правильных ответов в 12-ти проходах. Причем рекомендуемое количество проходов — именно 12, т. к. при меньшем количестве влияние случайности всё еще недостаточно мало, а слишком большое количество проходов приводит к утомлению тестера.

2. Подготовка к тесту

Теперь посмотрим, как это можно реализовать на практике. Существует множество типов ABX теста — с двумя неизвестными X и Y, с одним заведомо известным C, и т. д., здесь я опишу наиболее корректный на мой взгляд способ, с использованием плеера foobar2000

В качестве примера приведено тестирования кодека LAME MP3. Для теста понадобится foobar2000 со стандартным набором плагинов, плюс плагин ABX Comparator, а также, возможно, альтернативный плагин вывода (WASAPI Exclusive, ASIO). Найти всё это можно на странице foobar2000. Преимуществами foobar2000 является то, что он содержит в себе декодеры всех популярных форматов аудио, необходимые обработчики, а также настраиваемый вывод звука.

Предварительно следует разобраться с настройками плеера. В настройках плеера на вкладке DSP должны быть все необходимые для качественного вывода плагины (подробно о настройке вывода можно почитать в статье Организация качественного вывода звука на компьютере — настройка foobar2000 и не только). На вкладке Playback должна быть включена ReplayGain обработка:

ReplayGain необходим для выравнивания воспринимаемой громкости двух треков, т. к. конвертирование (особенно с низким битрейтом) часто приводит к существенному изменению громкости.

Теперь — что касается материала для тестирования. Необходимо выбрать трек, на котором мы хотели бы протестировать кодек. Трек желательно выбирать с широким частотным диапазоном и достаточно высоким уровнем ВЧ, так как при кодировании практически все кодеки первым делом ограничивают частотный диапазон, и это является одним из главных факторов, влияющих на звучание результирующего аудио. Трек, конечно же, должен быть в хорошем качестве, настоятельно рекомендуется именно lossless.

Итак, теперь задача стоит в выборе параметров и, собственно, в самом конвертировании. Чтобы не повторяться, приведу ссылку на описание настройки конвертера и LAME.

Для наглядности были выбраны следующие параметры:

-S -b 128 --noreplaygain — %d

С подобными параметрами сегодня конвертируется большое количество музыкального «ширпотреба» (пользователями, которых не сильно заботит чистота звука), качество полученного аудио условно считается соответствующим качеству аудио на Audio CD. На самом деле это конечно далеко не всегда так, в чем мы скоро сможем убедиться.

Теперь необходимо, чтобы оба трека (исходный и закодированный) имели ReplayGain теги. Проверить это можно, нажав в foobar2000 правой кнопкой на треке и перейдя в Properties, на вторую вкладку. Там должна быть графа ReplayGain, а в ней обязательно должны быть значения Track Gain и Track Peak. Если в каком-то из треков не записаны ReplayGain теги, нажмите на нем правой кнопкой, выберите ReplayGain->Scan Per-File Track Gain и по окончании сканирования нажмите кнопку Update File Tags.

3. Запуск теста

Теперь у нас есть исходный трек в lossless и, полученный из него посредством конвертирования, трек в формате MP3 с постоянным битрейтом 128 кбит/с.

Добавляем оба трека в плейлист foobar2000, выделяем их, жмем правой кнопкой мыши и выбираем Utilities-->ABX Two Tracks....

В появившемся окне должна стоять галка Use DSP (current playback settings) (если у вас в настройках включен хоть один DSP), и Use ReplayGain / simple track gain. Также здесь есть опция режима тренировки — его можно выбрать, чтобы попробовать свои силы и познакомиться с процедурой тестирования, что мы и сделаем. Также внизу есть опция включения кроссфейдинга (доступна толкьо при совпадении частот дискретизации файлов) — в случае её включения переключение между X и Y будет сглаженным (без запинки), однако включать её для достоверности не рекомендуется.

Жмём OK и ждём, пока треки декодируются, обрабатываются и помещаются во временную папку. Появится окно плагина.

4. Прослушивание

Кнопке A соответствует первый трек, кнопке B — второй. Кнопки X и Y отвечают также за файлы A и B, но соответствие неизвестно и может меняться с каждым следующим проходом (trial). С помощью кнопок Play A/B/X/Y Вы можете запускать воспроизведение и, не прерывая его, (если стоит галка Keep playback position when changing track) переключаться между семплами. После прослушивания (в любом порядке и неограниченное количество раз) Вы должны определить соответствие: например, что X — это A, а Y — B; делается это нажатием соотв. кнопки. Чтобы подтвердить выбор, нажмите кнопку Next trial, при этом трек (или его фрагмент, см. далее) будет проигрываться с начала.

По окончании каждого прохода в режиме тренировки можно видеть свой текущий результат: пункт Score отображает количество правильных ответов и выполненных проходов; параллельно с каждым проходом рассчитывается вероятность заблуждения (pval). В режиме теста эта информация недоступна.

С помощью ползунка Position можно прокручивать тестовый трек и выбирать только определенный его фрагмент, указав его начало и конец с помощью кнопок Set start и Set end (задать точную позицию можно по кнопке ...), кнопка Reset, находящаяся справа внизу, сбрасывает выбор фрагмента, после чего проигрываться будет весь трек.

Когда вы ознакомились с принципом работы плагина и потренировались в прохождении теста, можете нажимать клавишу Begin test, после чего вам надо будет выбрать желаемое количество проходов.

5. Анализ и сохранение результатов.

После выполнения всех проходов отобразится окно с результатами, виде лога:

Здесь подробно отражены все данные: информация о ПО, настройках, файлах, время начала теста и каждого прохода, результат для каждого прохода, а также итоговые результаты. А главное — здесь присутствует цифровая подпись, благодаря которой такой сохраненный отчёт можно проверить на специальной странице. Таковые меры практически полностью исключают возможность подделать результаты (по крайней мере, для рядового пользователя).

Итак, вы прошли выбранное число проходов. Скорей всего для вас не составило большого труда дать достаточное количество правильных ответов (если это не так, у вас либо очень плохое оборудование, либо плохой слух, или был выбран совершенно неподходящий трек, который очень плохо выявляет артефакты компрессии). Теперь можете с уверенностью сказать что слышите разницу между оригиналом и MP3 LAME 128 kbps, и более того — подтвердить это отчетом.

Также следует сказать, что если вы будете публиковать свои результаты, желательно дополнительно указывать подробную информацию об аудиоматериале для теста, а лучше приложить сами файлы, использованные в тесте. Обязательно также указывать версию кодека и параметры кодирования, например: LAME 3.99.5, --silent -b 128 --noreplaygain — %d. Кроме того, можно указать звуковое оборудование, на котором выполнялось тестирование — звуковую карту, наушники/усилитель/акустику, etc.

Полезные ссылки