Testy audio organizowane przez dystrybutorów lub producentów sprzętu to podstawowa forma marketingu w branży. Problem jaki widzę w tych testach jest fundamentalny: to zawsze są spotkania mające na celu sprzedaż, nie edukację. A jak to mówią marketingowcy: dajcie mi wynik, to zrobię Wam test. Nie zawsze jednak mamy do czynienia ze świadomą manipulacją. Najczęściej jest to albo nieświadome powielanie branżowego schematu albo zwyczajne uproszczenia wynikające na przykład z trudności organizacyjnych. A że przy okazji pozwalają osiągnąć korzystny wynik? To już jest pożądany skutek uboczny.
Nasze uszy to bardzo niedoskonałe narzędzia, podatne na różne zjawiska fizyczne. Wykorzystujemy to chociażby przy kompresji stratnej plików dźwiękowych. W niniejszym artykule zebrałem moje największe zastrzeżenia dotyczące testów audio, organizowanych przez producentów, dystrybutorów lub inne podmioty związane z branżą. Nie chcę tym tekstem, broń boże pokazać, że audiofile nie słyszą zjawisk, jakie twierdzą że słyszą. Jest to raczej zbiór zastrzeżeń wobec testów, które wielu w dyskusjach na forach i w grupach przytacza jako niezbity argument na działanie dziwnych akcesoriów. Zastrzeżenie pierwsze:
Testy audio nie przebiegają w formule ślepych testów
Wiele testów, na których byłem – mając to szczęście, że jeszcze nikt mnie nie kojarzył z działalnością tego bloga – nie odbywała się w formule ślepych testów. Szeroko akceptowaną, najbardziej obiektywną metodą testów odsłuchowych jest metoda testu podwójnie ślepego. W takim teście – zarówno osoba przeprowadzająca test, jak i osoby biorące udział nie są świadome, jaka konfiguracja jest testowana. Najczęściej takie testy audio przeprowadza się z wykorzystaniem programu komputerowego lub urządzenia, które losuje próbki bądź konfigurację sprzętową.
Taki test będzie więc najłatwiejszy do przeprowadzenia, kiedy chcemy sprawdzić czy kompresja stratna jest słyszalna. Testy audio w tej formule często nazywa się testami ABX. W teście ABX zostają nam zaprezentowane trzy próbki: A, B, X. Próbka X jest referencją i jest dokładnie taka sama, jak jedna z pozostałych próbek. Zadaniem osoby poddanej badaniu jest wskazanie, która próbka to „X”. Oprogramowanie wykorzystywane w takich testach pozwala nam na przełączanie w czasie rzeczywistym między próbkami. To ważne, ponieważ każda przerwa w odtwarzaniu może zniekształcić wynik testu. W ten sposób obiektywnie sprawdza się zdolność badanego do odróżnienia badanego zjawiska. Przeprowadzenie w takiej formule testów kabli sygnałowych czy innych akcesoriów audio jest trudne, ale możliwe.
Negacja testów ABX
Część audiofilów neguje instytucję testów podwójnie ślepych. Prawdopodobnie jednak nie dlatego że są one trudne do przeprowadzenia, a dlatego że wyniki takich testów jak dotąd przeczą wielu audiofilskim założeniom. Zacytuję tutaj Wojciecha Pacułę z portalu High Fidelity, który o zjawisku (z perspektywy audiofila) pisze tak:
Jednym z podstawowych zarzutów ludzi „uczelni” w stosunku do ludzi „audio” jest to, że ci drudzy nie testują sprzętu w reżimie porównań typu ABX, czyli podwójnie ślepego testu. Nie wchodząc w szczegóły powiem, że nie robimy tego, ponieważ w przypadku muzyki się on nie sprawdza, a więc test to test wadliwy. Sprawdza za to coś innego – samego testującego.
Krytyka testów audio w formule podwójnie ślepej najczęściej wygląda właśnie tak. Nie jest to formuła idealna – to prawda, ale nie opracowano jeszcze innej, równie obiektywnej metody. Nie rozumiem, dlaczego formuła ta ma się nie sprawdzać w przypadku muzyki. Jeśli jednak testy audio w formule ABX sprawdzają samego testującego, to gromadząc odpowiednią grupę osób które twierdzą, że słyszą dane zjawiska, powinniśmy uzyskać wynik korzystny dla tej grupy. Jednak żaden test podwójnie ślepy, nawet przeprowadzony na profesjonalistach i pasjonatach, nie wykazał jeszcze wyniku jednoznacznie potwierdzającego audiofilskie tezy.
Są jeszcze testy ślepe. Te, od podwójnie ślepych różnią się tym, że moderator takiego eksperymentu jest świadomy co jest testowane w danej chwili. Może to mieć jednak wpływ na wynik testu. Nie mówię tutaj o celowej manipulacji, nawet nieświadoma sugestia moderatora może wpłynąć na przebieg odsłuchu. Sugestia ta nie musi być również słowna – mimika czy mowa ciała działa na naszą podświadomość równie skutecznie.
Błąd konfirmacji – nieświadoma manipulacja?
Testy sprzętu audio, w których uczestniczyłem, nie odbywały się w żadnej z powyższych formuł. Były poprzedzone wprowadzeniem produktu. To rodzi kolejny poważny problem – błąd konfirmacji. Ludzie podświadomie przetwarzają informacje, jeśli informacja jaką otrzymamy na początku testu brzmi:
Kabel X został poddany wygrzewaniu prądem o natężeniu Y, co na stałe zmieniło mikrostrukturę jego przewodnika, wpływając na przewodność bardzo czystej już miedzi 6N.
To podświadomie, szczególnie jeśli zakodowaliśmy już przekazy marketingowe producentów kabli audio, będziemy spodziewali się lepszego brzmienia. Błąd konfirmacji wiąże się również z funkcją moderatora testu audio. Moderator taki może (doborem technik testu, sprzętu, środowiska, metodologii itd.) starać się udowodnić swoją tezę. A więc tak zaprezentować dany produkt, żeby uwydatnić jakieś jego cechy. I znów – nie musi to być wcale działanie celowe. Błąd konfirmacji jest jednym z błędów poznawczych, obserwuje się go również wśród badaczy którzy przeprowadzają badania naukowe.
Kiedy już uświadomimy sobie, jakie zagrożenia dla obiektywnego przeprowadzenia testu odsłuchowego może mieć wybrana metodologia, pora przejść do środowiska w którym przeprowadza się testy. I tu zastrzeżenie drugie:
Przeprowadzanie testów w otwartych grupach
Z punktu widzenia organizatora testu audio, oczywistym jest, żeby zaprosić na taki test jak najwięcej osób. Takie spotkania zawsze wiążą się z kosztami, a tylko niewielki odsetek odwiedzających w najbliższej przyszłości dokona zakupu. To, co mnie jednak zaskakuje w testach sprzętowych przeprowadzanych przez dystrybutorów audio, to często obecne „panele dyskusyje”, gdzie zgromadzeni dzielą się swoimi wrażeniami.
Na takie odsłuchy przychodzą bardzo często weterani, którzy nie jeden kabel już słyszeli. Jeśli mamy do czynienia z grupą osób o utwierdzonym już poglądzie na daną tematykę, nowi uczestnicy takich testów mogą powstrzymywać się z krytyczną oceną w obawie o reakcję grupy. Zjawisko to nazywa się konformizm normatywny, a jest tylko jednym z szeregu problemów z którymi wiąże się grupowa ocena. Będąc członkiem grupy w danym momencie jesteśmy w stanie pójść na dużo większe ustępstwa, ocena grupy może wpłynąć na naszą ocenę. Przede wszystkim jednak, nasza wewnętrzna potrzeba przynależności może spłatać niezłego figla. Uczestnicząc w takim grupowym odsłuchu możemy paść ofiarą:
- Konformistycznego oddziaływania grupy, a więc na przykład sugestia zmiany poglądów („a jesteś pewien tego, co słyszałeś?”, „No nie wiem, jakoś wszyscy słyszeliśmy coś innego”).
- Lęku przed byciem ocenianym („Jestem ciekaw, co powie nowa osoba na temat tego, co wszyscy przed chwilą słyszeliśmy”).
- Ograniczenia samoświadomości, która może wiązać się z podatnością na sugestię. A więc w grupie chętniej zgodzimy się z tezą, z którą nie zgodzilibyśmy się w innych okolicznościach.
I wielu innym zjawiskom, na które nie bylibyśmy narażeni, gdyby testy audio przeprowadzane były indywidualnie.
Problemy techniczne: głośność
W wielu badaniach dowiedziono, że sygnał głośniejszy podświadomie odbieramy jako lepszy. Skutkiem tego jest oczywiście wojna głośności, od której powoli odchodzimy – co zauważam na przykład w mojej recenczji albumu Empath Devina Townsenda. Głośność jest bardzo problematyczna, jak wyjaśnia Xiphmont – autor najlepszego we wszechświecie orania gęstych plików audio:
Ludzkie ucho może świadomie wyłapać różnice amplitudy 1 dB, a eksperymenty pokazują, że podświadomie słyszy się różnice amplitudy poniżej 0,2 dB. Ludzie niemal powszechnie uważają głośniejszy dźwięk za brzmiący lepiej (…) Profesjonalne testy dopasowują głośność źródeł w granicach 0,1 dB lub lepiej. To często wymaga użycia oscyloskopu lub analizatora sygnału. Zgadywanie czy głośność jest jednakowa przez obrót pokręteł w dwóch źródłach dźwięku nie wystarcza.
Źródło: 24/192 music downloads and why they make no sense, tłumaczenie: Zrozumiecaudio.blogspot.com
Nawet, jeśli oba porównywane urządzenia audio posiadają gałkę głośności pokazującą decybele, ustawienie głośności na taki sam poziom jest wyczynem godnym mistrza. Co zresztą za chwilę udowodnię.
Założenia testu: wypaczenie przez uproszczenie
Uproszczenia i skróty myślowe to wróg merytoryki. Nie wiem, czy jesteście zaznajomieni z tematyką audiofilskich nośników. Nie chodzi tutaj wyłącznie o SACD, które miało wygryźć wiekowe już
płyty CD – opracowywane przecież w czasach, kiedy „o dźwięku za wiele nie wiedziano” a technikalia stanowiły ponoć problemy przy zapisie cyfrowym. Kiedyś ktoś przytoczył na moim fanpage na Facebooku – w kontekście testów audio właśnie – szklane płyty CD. Nie będę tutaj odnosił się do samego nośnika, nie został on bowiem opracowany specjalnie po to żeby niwelować jitter audiofilom. A oprócz warstwy, która w „zwykłym CD” jest wykonana z tworzywa – nie różni się ona wieloma rzeczami.
Problem, jaki zauważyłem w porównywaniu szklanych płyt CD został już doskonale opisany przez Audio Engineering Society w kontekście płyt SACD właśnie. Wielu audiofilów zgodzi się pewnie z tezą, że Super Audio Compact Disc (piękny skrót, prawda?) brzmi lepiej. Sęk w tym, że nie jest to spowodowane większą rozdzielczością czy głębią bitową plików cyforwych zapisanych na takiej płycie (lub z zapisem DSD, który według niektórych jest… analogowy [DSD – Direct Stream Digital]). Przyczyną jest mastering – ten dla nowych wydań często jest inny. Przytoczone badanie AES miało sprawdzić, czy możliwe jest odróżnienie audio o parametrach 24 bit/192 kHz od 16 bit/44.1 kHz. Wybrana metodologia to opisany już wyżej test ABX, po przebadaniu kilkuset uczestników, poprawnej odpowiedzi w teście udzielono w 49,8% przypadków. Wniosek? Wynik jak przy zgadywaniu. Jest to co prawda test już wiekowy, ale nie doczekał się jeszcze powtórki na taką skalę. Przy okazji badania, padła jednak bardzo ważna konkluzja:
Przeniesiona na płytę CD-R wersja SACD albumu wciąż brzmi tak dobrze, jak oryginalne SACD i lepiej niż wydanie CD, ponieważ oryginalne audio użyte do wydania na SACD było lepsze.
Ciekawskich odsyłam do całego badania AES, niestety dostęp dla nieczłonków jest płatny.
Porównując dwa z pozoru analogiczne nośniki, nie bierzemy pod uwagę różnic w przygotowaniu materiału dźwiękowego przed naniesieniem go na owe nośniki. Mastering to jednak bardzo ważny proces. Tego typu uproszczenia są bardzo groźne, ponieważ mogą prowadzić do złudnych wniosków. Na przykład takich, że materiał, z jakiego wykonana jest płyta CD ma wpływ na brzmienie muzyki.
Studium przypadku: test przewodu zasilającego
Teraz pokażę na przykładzie, że moje słowa – które dla wielu mogą brzmieć jak absurd, nie są wcale przesadzone. Pokażę Wam przykład testu przewodu zasilającego, który ukazał się na łamach portalu Soundrebels. Autorzy zaznaczają, że test ma na celu tylko „hedonistyczną zabawę”.
Test audio, jaki przeprowadziła redakcja Soundrebels polegał na zarejestrowaniu ścieżki gitarowej za pomocą dwóch mikrofonów lampowych. Mikrofony lampowe posiadają zewnętrzny zasilacz, który posiada wymienny przewód. W teście wykorzystano dwa jednakowe mikrofony ustawione jeden nad drugim. Redakcja w celu obiektywizacji tego badania wymieniała przewody w mikrofonach – tak żeby zredukować zmienną, jaką jest pozycja mikrofonu, która przy wykorzystaniu dwóch kapsuł zawsze będzie minimalnie różna. Opublikowano nieskompresowane pliki audio, które nie zostały poddane żadnej obróbce. W teście nie znajdziemy żadnych materiałów dodatkowych – danych dotyczących głośności, analizy spektralnej czy chociażby interpretacji wyników.
Brzmi bardzo obiektywnie, prawda?
Posłuchasz, sam ocenisz. Nie można więc zarzucić autorom złej woli czy manipulacji. Chcieli przeprowadzić obiektywny test, zadbali o warunki na ile tylko potrafili.
Problem w tym, że taka metodologia nie zapewnia pełnego obektywizmu. Po pierwsze – próbki są podpisane. Nie jest to więc próba ślepa. Mamy więc do czynienia z błędem konfirmacji – osoba, która chce wykonać ten test i wchodzi z założeniem (nawet sceptycznym) usłyszy więc to, co będzie chciała. Wisienka na torcie?
(…)dostarczamy Wam materiał, nad którym będziecie mogli spędzać długie godziny, nabawić się nerwicy natręctw i zmagać się z omamami słuchowymi o autosugestii nawet nie wspominając. Tym oto sposobem niejako przekazujemy Wam recenzencką pałeczkę i na Wasze barki zrzucamy ciężar określenia czy a jeśli tak, to jakie zmiany wprowadziło pojawienie się w torze audiofilskiego okablowania
źródło: soundrebels.com
Testy audio – jak ich nie przeprowadzać
Przejmuję więc recenzencką pałeczkę i udowodnię, że niestety taki test nie dostarcza wystarczających danych, żeby określić czy audiofilskie kable zasilające wprowadzają zmiany. Zamiast opierać się na subiektywnej ocenie próbek i doprowadzać się do nerwicy natręctw, postanowiłem użyć bardziej obiektywnych metod. Analizy próbek.
I tu od razu rzucił się w oczy drugi, kardynalny błąd – niedostosowanie głośności. Tutaj dziękuję za pomoc Romanowi – realizatorowi studyjnemu, który dokonał technicznej analizy plików audio. Wnioski, jakie wyciągnął Roman są następujące:
- Mikrofony różnią się głośnością, przy takim mikrofonie ważne jest ustawienie gainu (wzmocnienia). Przy nagrywaniu nie zwraca się na to dużej uwagi, ponieważ w postprodukcji można wyrównać głośność. Ustawienie gainu dla obu mikrofonów „na oko” skutkuje tym, że normalizacja jednego mikrofonu wymaga podbicia sygnału o 15,7 dB, podczas kiedy drugi mikrofon potrzebuje 12,3 dB
- Kiedy zamieniono kable zasilające w mikrofonach, mamy do czynienia z innym wykonaniem utworu. Mimo że jest to ten sam utwór, będziemy mieli do czynienia z różnicami wykonawczymi. Do celu testu audio jest to po prostu bezużyteczne.
- Krzywa korekcji, którą Roman musiał nałożyć na pierwszą ścieżkę z „gorszym kablem”, żeby ścieżki obu mikrofonów brzmiały identycznie wygląda jak na załączonym obok zrzucie. To nie jest lekka korekcja, to nie jest korekcja którą mógłby spowodować kabel. Największa różnica (w górnym rejestrze) wyniosła 7,89 dB na korzyść kabla audiofilskiego.
- I można to uznać, za samozaoranie i przyznanie wyższości kablom audiofilskim, gdyby nie to, że… po przepięciu kabli zasilających w mikrofonach, korekcja dla mikrofonu zasilanego uprzednio kablem audiofilskim (a teraz zwykłym, „komputerowym”) pozostaje identyczna. Podbicie górnego pasma w celu uzyskania odpowiadających brzmień wyniosła w tej parze próbek 7,76 dB – tym razem na niekorzyść kabla audiofilskiego. Wniosek? Jeden z mikrofonów użytych w teście ma inną charakterystykę brzmieniową :)
I jest to częste zjawisko. Mikrofony, szczególnie te lampowe albo te z segmentu vintage różnią się między egzemplarzami. Tutaj oznaczenie na obudowie niestety nie wystarcza.
Retoryka pod tezę
Nie wykluczam również – chociaż jest to moja prywatna opinia, że test ten powstał też po to, żeby udowodnić tezę. Wnioskuję to po wpisach redaktora portalu Soundrebels w mediach społecznościowych, który „wyciągał” ten test w dyskusji o przewodach zasilających, jako dowód na to że te mają wpływ na brzmienie. Zresztą tezę tę można poprzeć również samą retoryką tego testu audio, popatrzcie na nacechowanie tych wyrażeń:
- skoro wszelakiej maści roszady okablowania słychać na samym końcu drogi, jaką pokonuje dźwięk (…)
- wspomagane stosownym rozgałęziaczem
- (…) co w przypadku stereotypowych opinii / bajek z mchu i paproci o zazwyczaj wyimaginowanych fundamentalnych różnicach, czy wręcz animozjach pomiędzy branżą Pro-Audio i Hi-Fi (…)
To bardzo sugestywne, nacechowane emocjonalnie wyrażenia, które po prostu podsuwają czytelnikowi wnioski które ma wyciągnąć. Podpinamy topowy kabel, równie topowy rozgałęziacz a „roszady okablowania” słychać i kropka. Ale wnioski wyciągnij sam – czy to nie cyniczne? Nie tak się robi testy, nie tak powinno się przeprowadzać testy audio.
Nie zarzucam nie daj boże próby oszustwa czy kłamstwa. Mam raczej na myśli niedostateczny obiektywizm, a prasa o charakterze informacyjnym – nawet internetowa, powinna być chociaż w minimalnym stopniu obiektywna. A wystarczyło puścić wcześniej zarejestrowany sygnał z di-boxa do jednego mikrofonu przy wzmacniaczu gitarowym.
Indoktrynacja marketingowa
Być może redaktorzy portalu, jak zresztą wielu ludzi narażonych na intensywną ekspozycję na przekazy marketingowe, ulegli czemuś, co nazywam „indoktrynacją marketingową”. Nazwa ekstremalna, wiem. Używam jej świadomie, ponieważ proces który mam na myśli spełnia wszystkie założenia indoktrynacji i odbywa się za pośrednictwem różnych przekazów marketingowych. Od przekazów drukowanych – w ulotkach, informacjach prasowych, przez prezentacje produktowe w salonach audio czy na targach po takie właśnie publiczne porównania i testy audio. Jest to proces stopniowy, długotrwały. Wraz ze zgłębianiem tematyki audio, high endu itd. osoba zainteresowana coraz silniej wchłania przekazy marketingowe, zostając sama z koniecznością ich weryfikacji.
Dlatego właśnie uważam, że prasa audio powinna pełnić funkcję strażnika merytoryki. Ta drukowana – jeszcze się trzyma. Jeszcze stosunkowo niedawno, w magazynach audio publikowane były wyjaśnienia techniczne i fizyczne – podbudowa merytoryczna. Na zdjęciu obok widnieje okładka magazynu Audio Video z rocznika 1984. W więc dwa lata po prezentacji tak przełomowego wynalazku, jak „dyskofon” – dziś znany pod nazwą „odtwarzacz CD”. Nie znajdziecie tu poetyckich opisów brzmienia cyfrowego, tylko merytoryczną weryfikację zjawiska. Obecnie w prasie audio nastał impresjonizm, to jest droga na skróty i droga donikąd. Język, jakiego używa się w prasie audio to jeden z powodów, dla którego zacząłem cykliczną serię podcastów z przeglądem prasy audio.
Zakładnicy własnej komunikacji
„Wina” leży również po stronie producentów sprzętu i akcesoriów audio, oni są bowiem beneficjentami takiej indoktrynacji, a także – jej ofiarami. Lata temu, kiedy zaprzestano testów podwójnie ślepych przy porównywaniu sprzętu audio, rozpoczął się powolny proces budowania świadomości konsumentów. Musiało upłynąć kilka pokoleń, żeby dotrzeć do miejsca w którym znajdujemy się dzisiaj. Patrząc na przekazy marketingowe producentów mam wrażenie, że dziś można już sprzedać wszystko z łatką „High end”. Za dowolną, nawet niewyobrażalną cenę. Mało kogo dziwią już bowiem akcesoria audiovoodoo. Nikt nie pyta o badania i pomiary, nauczony, że przecież nie wszystkie zjawiska da się zbadać przez „szkiełko i oko” a jedyną słuszną drogą jest test odsłuchowy. Nawet, jeśli akcesorium wydaje się nam bez sensu. Otóż nie, drodzy państwo.
Wszystko da się zbadać. Kwestia metodologii oraz podejścia.
A jeśli obiektywnie przeprowadzone testy audio czegoś nie wykazują, no cóż… może jest to wytwór wyobraźni?