Pár hiánypótló értékes és praktikus gondolat egyenesen John Hawes (Virus Bulletin) tollából ahhoz, hogy némileg reálisabban láthassuk a különféle antivírus tesztek értékét, súlyát, jelentőségét.

Bemelegítésül mindenkinek javasoljuk elolvasni a Prohardver fórum #1-es számú indító bejegyzését 2007-ből, "Melyik a legjobb vírusirtó?" címmel. Azonkívül, hogy minden szempontból alaposan körüljárja a kérdéskört, megemlíti természetesen a teszteket is. Ezek közül a független és az AMTSO (erről később szót ejtünk) szakmai irányelveknek megfelelő metódusok szerint dolgozó laboratóriumok eredményei számítanak a legtöbbet, ilyen például a www.av-comparatives.org, a www.av-tests.org, és a www.virusbulletin.com.

Nos innen már ugorhatunk is a mai témára. A vírusirtó programok tesztelése, összehasonlítása már hosszú évek óta folyik, ezek célja pedig kettős, egyfelől hogy érdemi információkhoz juttassa az antivírusok fejlesztőit, másfelől tájékoztassa és segítse a felhasználókat. Ezek a vizsgálatok folyamatosan zajlanak, nemrég adták ki például az AV-Test és AV-Comparatives legutóbbi értékelését, és az aktuális Virus Bulletin Windows XP platformos teszteredményeinek összefoglalóján is utolsó az simításokat végzik. Ilyenkor rendre azt kérdezgetik az emberek, miért van, hogy különböző eredmények születnek ezekben, honnan tudjuk, melyiknek higgyünk? Mitől jobb vagy rosszabb egy tesztelés, mint a másik, és mennyire hasznosak ezek, vagy éppenséggel elfogultak? Ezekre a felvetésekre őszintén szólva nem könnyű válaszolni.

Az antivírusok tesztelése egy szerfelett összetett és bonyolult folyamat, és ezek minősége nagyban befolyásolja azt, mennyire kapunk reális és hasznos képet ahhoz, hogy tisztán lássunk. Először is néhány alapvető információt nem árt tisztázni. Összehasonlító vagy tanúsítvány megszerzésért folyik az adott teszt? Ez a két legfőbb típus ugyanis, ahol az első, az összehasonlítás esetében bedobnak a ringbe egy tucat vírusirtót, remélhetőleg gondoskodva a tisztességes és egyenlő versenyfeltételek megteremtéséről, majd különböző mutatók alapján keletkezik egy győztes és egy sorrend. Ezzel szemben a tanúsítvány megszerzésért zajló küzdelem esetében nem a rangsorolás a cél, hanem rögzített és szabványos feltételek szerinti vizsgálatokon elért eredmények alapján az adott körben minden sikeresen vizsgázó termék megkapja a minősítést. A valóságban aztán ezenfelül léteznek a két modell ötvözéséből származó tesztelési metodikák is, többek közt a Virus Bulletin is ennek az iránynak igyekszik megfelelni, erre törekszik.

Nézzük akkor először, mit jelent, ha egy tisztán a minősítésért folyó tesztet végeznek. Ilyenkor általában minimális vagy semmilyen információnk nincs arról, pontosan mi zajlik a háttérben. A tesztelők viszont folyamatosan együttműködnek és kommunikálnak a gyártókkal, és általában az egész procedúra tartama alatt biztosítják a konzultációt. A hibridnek nevezett ötvözött módszer esetében nyitottabban zajlik mindez, megismerhetőek a résztvevők eredményei, de vissza is hívhatóak azok a versenyzők, akik esetleg túlságosan rosszul veszik az akadályokat. Azt is meg kell említeni, hogy sajnos vannak olyan tesztlaborok is, ahol komoly nyomást próbálnak gyakorolni a gyártókra, például esetleges gyengébb szereplésük részleteit csak egy jelentős összeg - például úgynevezett tanácsadói díj - befizetése után ismerhetik csak meg. Szerencsére nem ez az általános, így a legtöbb esetben tisztességes és legitim tesztelést biztosítanak a gyártóknak, és ellátják őket bőséges információkkal ahhoz, hogy ellenőrizni, diagnosztizálni és javítani tudják a felmerülő problémákat.

A minősítésekért folyó küzdelem, és ezek eredménye a fejekben is okozhat némi zűrzavart, hiszen meglepősen sok ember tévesen azt hiszi, egy ilyen minősítő embléma azt jelenti, az adott termék a lehető legjobb a világon. Például ha beszállunk egy liftbe, és a falon ott találjuk az alumínium TÜV plakettet, ez mindössze annyit jelez, hogy a biztonsági előírásoknak megfelelően tesztelték. Érthetőbben a minősítések megszerzése bizonyos értelemben inkább a minőségbiztosítás érdekében megtett lépés, és nem mondjuk a kimagasló innovációt jelzi.  

A VB100 díjnál, amely önmagában azért már jelez egyfajta alapvető megfelelőséget is, megmutatja, hogy egy valóban jól összerakott és megfelelően karbantartott termékről van szó. Mint ismeretes, ezen a teszten a résztvevő programoknak úgy kell 100%-osan felismerni az aktuális "WildList" lista kártevőit, hogy közben nem okozhatnak vakriasztást (false positive). Ez a rendszer emellett számos más hasznos, sebességbeli és teljesítmény mutatókat is közöl, beleértve például a nemrég hozzáadott rendszer stabilitási minősítést. Emellett mind az AV-Test, mind pedig az AV-Comparatives is kombinált tényezőkre alapozzák a tesztsorozataikat. Az AV-Test-en egy sor különféle területen kell értékelhető pontszámot elérni, majd ezeket összesítve kell megfelelni, míg az AV-Comparatives esetében egy többszintű díj rendszer került kitalálásra, amelynél a magasabb értéket (több csillag) a legjobbak kapják meg.

Összefoglalva, nem könnyű eligazodni a vírusirtó tesztek dzsungelében. Tipikus hiba például, amikor a tesztelést elvégző személy vagy szervezet hiányos vírusmintákkal dolgozik. Ha egy tesztben azt látjuk, hogy valamelyik védelmi képesség (például heurisztikus védelem) esetében a felhasznált vírusminták száma csak néhány tucatnyi, az biztos jele annak, hogy a teszt végső eredményét ez a módszertan eltorzította. Ha jó antivírust szeretnénk választani, amely a legjobban megfelel az igényeinknek, éppen ezért azt is érdemes megnézni, ki és hogyan végezte a tesztet. Ha a labor nevét "csak a Google ismeri", akkor valószínűleg kevésbé relevánsnak tekinthetjük az ott kapott eredményeket. Éppen emiatt létezik már jó ideje egy AMTSO (The Anti-Malware Testing Standards Organisation) nevű nemzetközi szervezet, amely 2008. óta éppen az ilyen tesztelések javításán munkálkodik, szorgalmazza, hogy a vizsgálatok minél inkább objektívek, ésszerűek, szakszerűek, és átláthatóak legyenek, ezáltal a felhasználók is minél jobban megbízhassanak ezekben.

Ha egy tesztelési metódus mindenki által megismerhető, akkor rendszerint az eredményekkel kapcsolatos bizalom is jellemzően stabilabb. Egyetlen minősítő jelvény feltüntetése pedig önmagában még nem dönti el, hogy például az egyik termék jobb-e, mint egy másik. Ezzel szemben viszont az érdemi teszteken hosszú távon mutatott folyamatos, stabil, kiegyensúlyozott jó szereplés mindenképpen egy fontos fegyvertény.