Érdekes ága az antivírus programok tesztelésének az a módszer, amellyel megállítva az adatbázis frissítést egy adott dátumnál a későbbi hónapok folyamán megjelent kártevőket vizsgáltatjuk velük. Itt a vírusirtók ugyebár nem támaszkodhatnak a víruslaborban azóta feldolgozott és elkészített minták egyedi kódrészleteire, hanem kizárólag a proaktív elemző heurisztikájukra vannak utalva.
Az AV-Comparatives időről időre megvizsgálja ezt a képességét a versenyzőknek, és ilyenkor egy adott napon befagyasztva a virusirtó programok frissítését a régi, több hónapos adatbázissal rontanak neki tesztállományoknak. Esetünkben ez a 2008. augusztus 4.-i adatbázisállapotú tizenhat különböző vírusvédelmi program csörtéjét jelenti a 2008. augusztus 4. és 31. között beérkezett vírusmintákat tartalmazó tesztkészlettel.
A mostani riport kapcsán érdemes egy picit elmélkedni az eredményekről is. Tegyük fel, én egy AV motor vagyok, kezemben "tiszta állomány" feliratú táblával. Jön a tesztkészlet - benne fertőzött és tiszta állományokkal -, és én mindegyiknél felemelem a táblát. Valószínűleg nem végeztem túl jól a munkámat, mert bár igaz, hogy minden tiszta állománynál igazam lett, de nem ismertem fel a fertőzötteket. Ha megfordítjuk mindezt, és a "Fertőzött állomány" táblát ragadom magamhoz, és megintcsak gondolkodás nélkül emelem fel minden fájl esetében, akkor igaz, hogy 100%-ban észleltem a kártevőket, de rettentően magas (minden tiszta fájl esetén) False Positive, azaz vakriasztást okoztam. Nyilván, ez egy erőteljes leegyszerűsítés, de a felismerés hatékonysága optimális esetben az lenne, hogy a végsőkig kihasznált valódi felismerés egyúttal nem okozhatja a False Positivok számának emelkedését.
Akik kezdetektől követik a Vírusok Varázslatos Világa sorozatot, azok emlékezhetnek, pont a legelső cikkben volt szó arról, hogy némely program annyira paranoid heurisztikát tartalmaz, hogy egy sima Windows Calc.exe zsebszámológép alkalmazás UPX-szel való tömörítés után már kiveri náluk a biztosítékot. Nyilvánvalóan nagy hiba minden futásidejű tömörítéssel rendelkező fájlt gyanúsként kezelni. De mitől lesz gyanús egy fájl? Vannak a futásidejű becsomagolásnak is olyan gyanúra okot adó ismérvei, ami tiszta állományokban nemigen fordulnak elő:
- többszörösen csomagolt állomány: miért többször is, ha nem pont a felismerés megzavarása a cél
- közismert feketelistás tömörítővel készült állomány pl. Morphine
- egyedi fejlesztésű és összezavart kódú tömörítővel készült állomány
- olyan kisméretű fájl, amit a mérete miatt nem lenne szükséges tömöríteni, hacsak nem a pont a felismerés megzavarása a cél
A heurisztikát egyébként már körüljártuk egyszer jó alaposan a VVV 9. epizódban.
Mert mit is okozhat egy vakriasztás? Először is jó nagy pánikot. Aztán vannak esetek, amikor a hiba folytán akár az operációs rendszer elemeire történik a riasztás, ekkor előfordulhat, hogy a törölt vagy karanténozott állományok miatt sérülhet a rendszer, sőt akár működésképtelenné is válhat. Az idei évben több hasonló incidenssel is találkozhattunk, amelyek komoly riadalmat okoztak a felhasználóknál. Például a TrendMicro és az AVG is kiadott olyan hibás vírusszignatúra frissítést, amely a Windows legális és tiszta állományaiban vélt felfedezni kártevőt. Nem véletlen, hogy az AMTSO is komolyabb hangsúlyt fektet a tesztelési feltételek szigorításara, pontosítására. Végül a 2008. novemberi teszt eredményeiről. A NOD32 itt megszerezte az elérhető legjobb Advanced+ minősítést, és esetében jól látható, hogy bár voltak termékek, amik magában a felismerési rátában ugyan jobban teljesítettek, viszont ezekhez szinte minden esetben nagyobb, sőt néhány esetben durván nagyobb hamis riasztás is tartozott. Mr. False Positive :-) A kettőt nem lehet egymástól elvonatkoztatni, ezt már a korábbi táblaemelési "clueless" kísérletünknél láthattuk. És természetesen azt is meg kell jegyezni, ennek a tesztnek az eredménye önmagában egyedül nem minősít egy terméket: például A jobb mint B, viszont az ilyen tesztek eredményeinek hossszú távú egybevetése mindenképpen segít kialakítani, árnyalni az egyes programok teljesítményéről alkotott képünket. Forrás: http://av-comparatives.org/seiten/ergebnisse/report20.pdf
