Автор: После провала антивируса Norton в тесте AV-Comparatives на уровень обнаружения в марте 2013, компания Symantec заявила, что On-Demand тесты антивирусов являются «вводящими в заблуждение». Ситуацию выяснял специалист по безопасности Н. Дж. Рубенкинг
В апреле 2013 года независимая антивирусная лаборатория AV-Comparatives опубликовала результаты сравнительного тестирования антивирусов на уровень обнаружения и количество ложных срабатываний — так называемый On-Demand тест антивирусов. Тот факт, что решение Microsoft оказалась в нижней части, не было большой новостью, но то, что антивирус Norton от Symantec оказался еще ниже, действительно было удивительным.
В своем блоге компания Symantec осудила всю практику проведения тестов на сканирование вредоносных программ по требованию, назвав их «вводящими в заблуждение».
В начале развития все антивирусные тестирования были On-Demand тестами. Исследователи собирали коллекцию известных вредоносных программ, запускали полную проверку и фиксировали процент обнаруженных образцов.
Современные лаборатории упорно трудятся, чтобы разработать тесты, которые более точно отражали бы реальный опыт пользователя, принимая во внимание тот факт, что подавляющее большинство заражений на компьютере приходят через Интернет. Symantec утверждает, что только динамические (real-world) тесты отражают действительность. Но автор данной статьи — Нил. Дж. Рубенкинг — не совсем согласен с этим.
Покалеченная защита?
Алехандро Борджиа, старший директор по управлению продуктами Symantec Corporation, категорически заявил в своем блоге, что «приведенные показатели уровня обнаружения вводят в заблуждение и не показывают реальной эффективности продукта». Борджиа также отметил, что «такие типы тестов на сканирования файлов выполняются в искусственных средах, что калечит все современные функции защиты».
Тестовая система AV-Comparatives была подключена к Интернету, тем самым давая доступ устанавливаемому антивирусу Norton от Symantec к мощной облачной системе репутации Norton Insight.
Когда Нил спросил у своих знакомых из Symantec по этому поводу, они объяснили, что все возможности Norton Insight опираются на полную информацию о том, «как файл был получен, когда оно был получен, и где он был получен (например, URL и IP-адрес)». В On-Demand тесте уровень обнаружения проверяемых файлов антивирусом Norton от Symantec, не будет таким же, когда пользователь загружает файлы из Интернета. На самом деле данная ситуация не то же самое, когда пользователь устанавливает защиту от вирусов, чтобы очистить уже существующие вредоносные программы.
Компоненты предотвращения сетевых вторжений также не получили шанса помочь при загрузке, так как используемые вредоносные образцы уже были загружены перед установкой антивирусного решения. Таким образом, вы были бы в аналогичной ситуации при установке антивируса на уже зараженной системе. И, конечно, защита на основе обнаружения поведения никогда не сможет противостоять угрозе, если вредоносная программа уже фактически была запущена и активна в системе.
В ответ на вопрос о защите на основе поведения, которая принимает меры только после того, как вредоносный файл запускается, представители Symantec отметили, что их поведенческая защита включает в себя не только меры по анализу активности программы. В Symantec объяснили, что используемые поведенческие технологии учитывают местоположение программы, то как она зарегистрирована в системе (например, какие ключи реестра относятся к ней), и многие другие факторы. Также было отмечено, что в большинстве случаев программа будет остановлена антивирусом до причинения какого-либо вреда системе.
Действительно ли вводят в заблуждение?
Что касается утверждения о том, что тест вводит в заблуждение, представители AV-Comparatives не согласны. В введение отчета говорится, что уровень обнаружения продукта является лишь одним аспектом, и там же ссылаются на протоколы других испытаний, которые охватывают различные аспекты и возможности антивирусных программ.
«Здесь ясно сказано, что проверяется только одна особенность продукта», сказал Питер Штельцаммер, соучредитель AV-Comparatives. «Если в Symantec думают, что функция обнаружения вредоносных файлов ничего не стоит, то почему она до сих пор входит в состав их продукта?» Штельцаммер отметил, что обнаружение вредоносных файлов необходимо для начальной очистки, при этому у компьютера не всегда есть подключение к Интернету. Тем не менее, «тест проводился с полным доступом к сети Интернет и облачным функциям Symantec был предоставлен доступ к их облаку».
Борджиа сравнивает тестирование только уровня обнаружения файлов с проверкой безопасности систем автомобиля, где отключается все, кроме поясного ремня, констатируя тот факт, что такое испытание было бы «совершенно неверным». И все же такой тест может также выявить проблемы со слабым поясным ремнем безопасности, так что оценка его, как «совершенно неверный», немного преувеличена.
Только динамические тесты?
Борджиа из Symantec отмечает, что решительно поддерживает только динамические(real-world) тесты, тесты, «которые наиболее близко представляют угрожающую среду и используют все проактивные технологии, которыми снабжен продукт». Тут сложно не согласиться, но такие тесты требуют огромного количества времени и усилий.
Последний тест Dennis Labs является одним ярких примеров. Dennis Labs записывает процесс заражения от реальных URL-адресов, а затем использует систему веб-повтора, чтобы повторить точно такой же процесс под защитой каждого антивирусного продукта. Восхитительный, конечно, но это занимает много времени и огромных усилий.
Лаборатория AV-Comparatives и сама выполняет динамические тесты каждый день, бросая вызов группе антивирусов, установленных на идентичных испытательных стендах, проверяя защиту от вредоносных программ с сотням новейшими активными вредоносными URL-адресами. Каждый месяц они обобщают данные, и каждый квартал они выпускают полный отчет. Процесс достаточно трудоемкий, поэтому в AV-Comparatives полагаются на помощь из Университета Инсбрука и на частичное финансирование со стороны австрийского правительства.
Вы ожидаете, что Symantec будет блистать в этом динамическом тестировании AV-Comparatives. «К сожалению,» отметил Штельцаммер, — «Symantec не хочет присоединиться к нашей основной серии испытаний». Symantec решила не участвовать, отметив, что «AV-Comparatives не предлагает вендорам подписку на тестирования, сосредоточенные исключительно на динамических тестах, а предлагают также тесты на сканирование файлов».
Однако, эта стратегия, похоже, провалилась. Даже если компания не подписалась на серию тестов, AV-Comparatives сама включила антивирус Norton от Symantec в On-Demand тест, так как «результаты были востребованы нашими читателями и прессой».
Результаты нескольких тестов имеют ценность
В блоге Symantec заключают: «Мы с нетерпением ждем того дня, когда все публикуемые тесты будут динамическими. Тем временем, пользователи должны остерегаться искусственных тестов, которые показывают обманчивое сравнение антивирусных продуктов». Нил Дж. Рубенкинг тоже был бы рад увидеть больше тестов, которые соответствуют реальному опыту пользователей, но не считает, что стоит отказываться от тестов на уровень обнаружения вредоносных файлов.
Нил рассуждает об этом моменте. Если вы покупаете антивирусное решение для системы, которая никогда не была защищена, вы будете ожидать от антивируса возможностей по очистке любых и всех видов вредоносных программ без использования возможностей по предотвращению сетевых вторжений. В подобном случае, вероятно, вы будете обращать внимание на высокие баллы в тестах, таких как AV-Comparatives On-Demand тест, который довольно точно соответствует данной ситуации.
Для постоянной защитой вы, конечно, захотите чтобы антивирусное решение, зарабатывало высшие оценки также в динамическом тестировании. Так что выбирайте антивирус, который показывает высокие оценки во всех областях, а также в тестах нескольких лабораторий. Таким образом, вы получите защиту, которая может заботиться о любых проблемах, существующих при установке, а также будет защищать от будущих атак вредоносных программ.
По материалам интернет-журнала Security Watch with Neil J. Rubenking
