Testy syntetyczne i praktyczne

Swego czasu przez fora amigowe przetoczył się temat wydajności Amig NG. Skutkował on przeprowadzeniem testów praktycznych oraz głośnymi dyskusjami na forach.

Najważniejsze źródła to:

  1. strona „Efika vs. reszta świata” (niestety wygasła, archiwum tutaj)
  2. wątek na amiga.news.de Benchmarks: AmigaOne X1000 compared with other PPC-hardware (Update)
  3. wątek na amigaone.forum AmigaOne X1000 vs. reszta świata

Najnowsze wyniki są z 2012 r. Trudno odtworzyć procedury testowe z tego względu że są nowsze wersje programów do testowania. To znaczy można tak zrobić ale czy ma to sens? Przecież dla użytkownika ważna jest wydajność na aktualnie dostępnym oprogramowaniu. Z drugiej strony – robienie całkowicie nowych testów także byłoby bez wartości ze względu na brak jakiegokolwiek odniesienia. Dlatego poszedłem na kompromis. Procedura testów identyczna jak w podanych linkach, ale wersje programów aktualne. Istotne jest żeby używać tych samych plików testowych (klipy wideo, dźwiękowe, i t.d.). Taki był szczery zamiar, ale nie wszystko poszło tak jak chciałem, o czym dalej.

Na czym właściwie polegają testy? Syntetyczne to benchmarki. A praktyczne? Komputer otrzymuje typowe zadana i mierzony jest czas ich wykonania. Jest to np. dekodowanie pliku mp3, renderowanie sceny w Blenderze, liczba klatek w zwiastunie filmowym w wysokiej rozdzielczości, i tak dalej.

Procedury testowe są tak ustalone by uniknąć narzutu obarczenia czynnikami mogącymi wypaczyć wyniki. Przykładowo przy teście LAME plik dźwiękowy jest w ramdysku by prędkość czy fragmentacja dysku twardego nie miała wpływu na wynik. Pewne rzeczy są oczywiste bez przeprowadzania testu, np. fakt że procesor z jednostką Altivec może dekodować plik nawet dwa razy szybciej jak procesor bez Altiveca.

Niestety część plików testowych jest już niedostępna, nie robiłem też wszystkich pomiarów. Gdy będzie jakaś aktywna, odświeżona strona z wynikami, nie odwołująca się do historycznych konstrukcji typu Efika ale np. G5 i X5000 – wtedy ewentualnie uzupełnię.

Wszystkie pliki użyte przeze mnie do testów załadowałem „w chmurę” na swój OneDrive i udostępniłem żeby każdy chętny mógł porównawczo sprawdzić u siebie

pliki użyte w teście

Lista używanych programów

Oryginalnie tekst „Efika vs. reszta świata” zawierał testy:
MPlayer NEW, MPlayer OLD, Blender NEW, Blender OLD, Benoit, ImageFX, Personal Paint, DigiRoller, Lame, Kopiowanie CLI, Monolith, AFinch, AFlops 68k, AFlops WOS, UltimatePPC, FFTDemo, SDL-Bench-MOS, Quake I, Quake II, AmigaMARK, AmigaMARK – wykres i podane konfiguracje sprzętu.

Jak widać niektóre były dla starej i nowej wersji programu (MPlayer i Blender). Nie bawiłem się w to, robiłem najnowszą wersją. W przypadku programów które nie posiadam (np. komercyjne – ImageFX, Personal Paint) i  programów mających wersje tylko dla MorphOS-a (np. Monolith) – testy nie zostały przeprowadzone.

Lista używanych plików

AKsack.wav – plik dźwiękowy
AKsack.DBM – moduł
HP6_Large.mov – zwiastun filmowy Harry’ego Potera w 720p
Prometheus – Trailer.mp4
Kung Fu Panda_1280x720_2644Kbps_mpeg4_mp3.avi – zwiastun filmowy z użyciem kodeka FMP4 („lekki”)
prometheus-tlrg_h1080p.mov – kodek H264, Full HD (1920 x 834)
Zagrajmy w_ Star Wars Jedi Knight_ Jedi Academy #5 _Robaczek_.mp4 – kodek H264, HD (1280 x 738)

Konfiguracja testowa

Komputer: AmigaOne 500 1,15 GHz, grafika Radeon HD 7750

System: AmigaOS 4.1 FE, sterowniki RadeonHD 2.10 i Warp3D

Procedury i wyniki pomiarów

Większości testów na bazie „Efika vs reszta świata” mimo wszystko nie dało się przeprowadzić. Powody były różne – a to nie mogłem znaleźć określonej biblioteki (np. AFlops), a to test kończył się bez wyniku (tak było z benczmarkiem Hollywood – po prostu „wyszedł”).

Ostatecznie zrobiłem nowsze testy praktyczne. To co przerobiłem zamieszczam poniżej.

FFT demo

Jedyny ze starego zestawu testującego jaki przeprowadziłem z powodzeniem.

Testy sieci

Moduł „Network” w programie SysMon. Opiera on się na skrypcie Pythona speedtest-cli. Parametry mojej sieci to 30/15 Mbit (pobieranie/wysyłanie). Karta sieciowa w AmigaOne 500 jest zintegrowana, ale korzystałem nie z niej a z opisywanego kiedyś przeze mnie adaptera wi-fi NetGear. Trzy próby, kolejne liczby to: download, upload (w Mb/s), ping (w ms), czas testu (w sekundach)

19,55 / 2,39 / 32 / 49
21,45 / 3,12 / 28 / 37
21,91 / 3,00 / 27 / 44

SDLBench

Test został przeprowadzony zarówno w konsoli, jak i w programie SysMon.

Wyniki tego testu są mało wartościowe, ponieważ nie mówią nic o wydajności komputera a jedynie o prędkości pamięci.

RageMem

Podobna sytuacja jest w przypadku RageMem, który ma chociaż te zaletę że podaje słynne MIPS-y.

Zamieściłem podwójnie, ponieważ podałem różne platformy do porównania. Są to X5000 oraz WinUAE na procesorze i7. To jest to co najbardziej obecnie ludzi interesuje – wydajność nowych AmigaOne w kontekście emulacji AmigaOS 4.1 FE na naprawdę mocnych PC.

Oglądanie filmów

Użyty odtwarzacz to Liveforit Mplayer + Mplayer GUI. Filmy – podane wyżej, można pobrać z linka podanego wcześniej.

Kung Fu Panda – 15-17 klatek na sekundę, chociaż wrażenie jest płynne

Zagrajmy w_ Star Wars Jedi Knight_ Jedi Academy #5 _Robaczek_.mp4 – kodek H264, HD (1280 x 738) – 11 klatek na sekundę

prometheus-tlrg_h1080p.mov – kodek H264, Full HD (1920 x 834) – 5 klatek na sekundę

Mój komputer ma kartę Radeon 7750 i mam najnowsze sterowniki z AMIStore. Niestety niski zegar + brak Altivec + brak wsparcia dekodowania sprzętowego (UVD wspierałby dekodowanie H.264) daje taki wynik.

Gry 3D

Swego czasu testowałem Quaki 1 i 2 tutaj

Quake I na silniku „DarkPlaces” – test timedemo. Cytuję siebie z tamtego artykułu poniżej:

timedemo demo1
Tam podawane są minimalne, średnie i maksymalne wartości. Wynik to 18/22/45 fps.

Rozpiętości rzeczywiste były dużo większe niż podaje to timedemo, bo od 9 do 57. To jest bardzo duży rozrzut. Porównawczo 28-164 fps to skrajne wartości na  X1000 z Radeonem R280 Toxic Sapphire (wyniki HunoPPC).  To z kolei pokazuje że „duże” nowe AmigaOne takie jak X1000 mają 3x większą wydajność od komputerków „średniego segmentu”.

Quake 2 – na domyślnych ustawieniach w rozdzielczości 1280x 1024, u mnie było 18,6 fps

Moim zdaniem „wąskim gardłem” jest procesor komputera.

Enkodowanie pliku dźwiękowego

Bazą było demko Incision

Procedura polega na rozpakowaniu archiwum. W środku będzie plik rend.aiff. Należy go uruchomić – jego rolą jest wyciągnięcie z demka modułu dźwiękowego o nazwie Exploder – Fast Thing.aiff. Następnie należy go przetworzyć do formatu mp3 za pomocą kodeka lame. Użyty kodek przeze mnie to lame 3.99.5 z OS4 Depot. (link).

Czyli wrzucone do ramdysku dwa pliki – aiff i lame. Następnie dwuklikiem uruchomienie lame i dopisanie w konsoli:

lame "Exploder - Fast Thing.aiff"

W ramdysku trwało to 54 sekundy, na twardzielu o sekundę dłużej.

Jeżeli ktoś posiada komputer z jednostką Altivec – to nie używa pliku lame a lame.g4-3.98.2.

Przykładowo użycie zwykłego lame dla AmigaOne 800 XE dało wynik 1 min. 15 sek. czyli gorszy niż AmigaOne 500 – co wynika z niższego taktowania zegara (800 MHz vs 1,1 GHz). Ale użycie lame ze wsparciem Altivec daje wynik 45 sekund, czyli lepszy niż w procesorze wyżej taktowanym (45 vs 54 sek.).

Użycie kodeka lame uznawane jest za wartościowy test, ponieważ pokazuje wydajność procesora, i to w praktycznym zastosowaniu. W marcu na PPA przetoczył się ciekawy wątek na temat wydajności PPC (prawdziwy vs emulowany) i właśnie ten konkretnie test wzbudził największe zainteresowanie (najwięcej nadesłanych wyników z różnych konfiguracji). Poniższy wykres sporządził Konrad Czuba.

Komentarz do testów

AmigaOne 500 z racji niskiego taktowania zegara oraz braku jednostki Altivec w procesorze jest komputerem mało wydajnym. Z drugiej strony ma potencjał, ponieważ obsługuje nowoczesne karty graficzne, i gdy dojdzie wsparcie UVD (niezbędne do płynnego odtwarzania filmów w HD) to w tzw. codziennych zastosowaniach nie powinien znacząco odstawać od innych, nowszych (X1000/X5000) czy mocniejszych (Apple G5) konfiguracji.

Oczywiście gdzieś ta mniejsza wydajność wyjdzie (np. przy programie Hollywood). Niemniej komputery typu SAM 460 EX są wciąż atrakcyjne dla osób wchodzących w temat „Amiga nowej generacji”. Powód? Nawet na najwydajniejszych PC emulacja AmigaOS 4.1 FE jest żałośnie słaba, to wciąż jest dystans dla którego warto kupić natywny sprzęt do AmigaOS 4.1.

Emulacja wymaga procesora o wysokim zegarze, dużej mocy, i nie jest obsługiwana wielordzeniowość. Do tego potrzeba oryginalnych ROM-ów Blizzarda/Cyberstorma i OS4 FE w wersji „Classic”. Wydajna emulacja nie wychodzi taniej niż kupno używanej SAM. A i radość z posiadania dedykowanego komputerka większa.


Nowe testy dodane po napisaniu artykułu:

GPMark SDL v.004

Test grafiki

http://hunoppc.amiga-projects.net/content/gpmark-sdl

Uzyskane rezultaty:

Blender Render Benchmark v0.2

Użyto sceny test.blend. Plik znajduje się na stronie http://www.eofw.org/bench/ która jest obszernym zestawieniem porównawczym (4414 wyników) przeróżnych konfiguracji, opartych na różnych procesorach.

Bezpośredni link do pliku: test.blend

Wynik:

Dodaj komentarz

Ta witryna wykorzystuje usługę Akismet aby zredukować ilość spamu. Dowiedz się w jaki sposób dane w twoich komentarzach są przetwarzane.