Dưới đây là một số lưu ý về các thiết đặt đã được sử dụng (tùy chọn quét tất cả các file luôn được sử dụng) của một số sản phẩm:
Bộ mẫu sử dụng trong thử nghiệm lần này nhỏ hơn các lần khác, nguyên nhân là do AV-Comparatives hiện đang cố gắng sử dụng bộ mẫu chứa những mã độc hiện đang thịnh hành và vẫn còn tồn tại (trong vòng 8 tháng trước). Để xây dựng bộ mẫu, họ đã tham khảo thông tin dữ liệu (metadata), các dữ liệu đo đạc từ xa được thu thập và chia sẻ trong lĩnh vực diệt virus, cũng như những truy vấn điện toán đám mây và yêu cầu dữ liệu về các mã độc phổ biến nhất được ghi nhận từ người dùng. Các mã độc ghi nhận được từ máy tính của người dùng sẽ tự động được xem như mức quan trọng. Tuy nhiên, không phải tất cả các nguồn cung cấp mẫu đều có sự ổn định như nhau, một số bộ mẫu đã bị xóa bỏ. Điều này sẽ được cải thiện trong tương lai, nhóm thử nghiệm đang làm việc để cải tiến các quá trình chia sẻ dữ liệu của họ.
Dù sao đi nữa, các bộ mẫu được sử dụng có thể sẽ ngày càng nhỏ hơn, và tập trung chủ yếu vào các mối nguy hiểm dễ bị phát hiện và đánh dấu, nên điểm đạt được của các sản phẩm an ninh sẽ cao hơn. Đó là lý do AV-Comparatives sẽ tăng số điểm của các cấp độ trong các lần thử nghiệm tới. Lần tới, để đạt được mức ADVANCED+, điểm cho các thử nghiệm phát hiện nhầm (FPs) sẽ còn khắt khe hơn nữa.
Kết quả thử nghiệm
Biểu đồ so sánh cách mẫu mã độc bị bỏ sót (Càng thấp càng tốt)
Số phần trăm trên biểu đồ cho thấy kết quả kiểm tra với bộ mẫu thử đã sử dụng. Mặc dù đây chỉ là bộ mẫu thử nhỏ, nhưng chúng ta có thể thấy các sản phẩm bỏ sót khá nhiều mẫu mã độc, ví dụ: AVIRA là phần mềm bỏ sót ít mã độc nhất, nhưng tỷ lệ 0,4% của nó cũng đã tương đương với khoảng 4.933 mã độc, còn Kingsoft thì bỏ sót tới 18,2%, tức là khoảng 244.467 mã độc!
Symantec,
phần mềm đoạt giải nhất năm 2009, bỏ sót tới 1,4% (tức là khoảng 17.000 mã độc), trong khi đó Kaspersky, sản phẩm đứng thứ 2 của năm 2009 thì bỏ sót số lượng malware gấp đôi (2,9%, tức khoảng 35.000 mã độc). G DATA và AVIRA vẫn giữ được tỷ lệ phát hiện rất cao giống như thử nghiệm năm ngoái. Tuy nhiên, để đánh giá một phần mềm diệt virus thì chúng ta còn cần phải xem xét tới tỷ lệ phát hiện/cảnh báo nhầm (FPs) nữa.
Các kết quả của thử nghiệm "
quét theo yêu cầu" (On-demand test) cũng thường được áp dụng cho thử nghiệm "
quét khi truy xuất" (On-access test), nếu được thiết lập cấu hình tương tự, nhưng không được áp dụng cho các công nghệ bảo vệ khi thực thi lệnh (On-execution), như HIPS, khóa theo hành vi,...
Tỷ lệ phát hiện tốt vẫn là một trong những đặc tính quan trọng nhất, là yếu tố quyết định và đáng tin cậy của một sản phẩm diệt virus. Bên cạnh đó, hầu hết các sản phẩm có ít nhất một số kiểu HIPS, khóa các mã độc dựa theo hành vi hay theo các chức năng khác của chúng (hoặc ít nhất là có cảnh báo mối nguy hiểm), ví dụ như trong quá trình các mã độc đang thực thi lệnh, khi mà sự bảo vệ on-demand và on-access đều đã thất bại.
Tỷ lệ phát hiện (trong tổng số khoảng 1,2 triệu mẫu)
Phía trên là tỷ lệ phát hiện mã độc trong thử nghiệm quét theo yêu cầu. Đây là lần đầu tiên Panda và PCTools tham gia thử nghiệm nhưng đã cho thấy kết quả rất tốt. Symantec, BitDefender và ESET vẫn giữ được phong độ như năm ngoái, nhưng do có nhiều sự thay đổi vượt bậc từ những phần mềm khác nên 3 đại gia này vẫn bị tụt thứ hạng chút xíu. Kapersky và Microsoft tuy đã có nhiều cố gắng để nâng tỷ lệ phát hiện mã độc (Kapersky tăng từ 94,7% lên 97,1%), MSE tăng từ 90,0% lên 96,3%), nhưng vẫn chỉ đứng ở gần cuối nhóm 2.
Kết quả phụ: Khi thực hiện đo đạc tỷ lệ phát hiện của McAfee có sử dụng công nghệ điện toán đám mây, phần mềm này đạt được tỷ lệ rất cao (99%), nhưng gây ra rất nhiều cảnh báo nhầm. Tỷ lệ phát hiện tối thiểu của một số phần mềm khi không có kết nối internet (tức là không có công nghệ điện toán đám mây) là: McAfee 94,9% (19 FPs), Panda 73,3% (32 FPs), Trend Micro 68,5% (22 FPs). Điều này cũng có nghĩa là: nếu như máy tính của bạn tạm thời không có kết nối Internet, thì các ứng dụng điện toán đám mây sẽ không có đất dụng võ, và bạn nên xem xét tới các phần mềm có tỷ lệ phát hiện cao hơn khi không sử dụng công nghệ điện toán đám mây, nếu bạn sử dụng Panda hay Trend Micro mà không có kết nối Internet, chúng có khả năng sẽ bỏ lỡ các mã độc tồn tại trên hệ thống. McAfee làm khá tốt với cả trường hợp có áp dụng công nghệ điện toán đám mây và trường hợp hoạt động ngoại tuyến (offline), nhưng hãy chú ý rằng nó cũng sẽ gây ra nhiều cảnh báo không chính xác.
Bộ mẫu thử được sử dụng trong thử nghiệm tháng 1/2010 gồm khoảng 1,2 triệu mã độc, nhỏ hơn so với các lần thử nghiệm trước, nhưng nó "thực tế" hơn, như tôi đã giải thích ở phía trên.
Thử nghiệm đo số lần phát hiện/cảnh báo nhầm (FP - false alarm)
Để đánh giá chất lượng của một phần mềm an ninh, chúng ta cần phải xem xét tới khả năng phát hiện chính xác, được đo đạc thông qua các thử nghiệm gây cảnh báo nhầm. Các cảnh báo/phát hiện nhầm gây ra những vấn đề nghiêm trọng không kém so với các trường hợp bị lây nhiễm virus thật. Thường thì các phần mềm có tỷ lệ phát hiện mã độc cao, cũng sẽ gây ra nhiều cảnh báo nhầm hơn.
Tất cả các cảnh báo nhầm đều đã được AV-Comparatives thông báo đến nhà phát triển phần mềm an ninh, và hiện chúng đã được khắc phục.
Tỷ lệ phát hiện nhầm của eScan và F-Secure vẫn dẫn đầu (ít nhất) giống như các năm trước, kế đến là BitDefender và Microsoft. Năm nay ESET có nhiều tiến bộ so với thử nghiệm hồi tháng 8 năm ngoái. Riêng Kingsoft thì vẫn giữ nguyên "truyền thống" của mình qua vài năm tham gia thử nghiệm: tỷ lệ phát hiện mã độc thấp và cảnh báo nhầm luôn ở mức cao.
Thử nghiệm đánh giá tốc độ quét
Tốc độ quét của các phần mềm diệt virus không giống nhau do nhiều nguyên nhân, có thể do chúng có sử dụng các mã mô phỏng, có khả năng phát hiện các virus đa hình, quét sâu và phân tích hành vi, quét rootkit, quét các file nén, tính năng quét kiểm tra các yếu tố an ninh phụ khác, quét toàn bộ các kiểu file, sử dụng danh sách trắng từ cơ sở dữ liệu điện toán đám mây,...
Phần lớn các sản phẩm đều làm giảm thời gian quét bằng cách bỏ qua các file đã được quét trước đó. Do chúng ta cần biết tốc độ quét thực tế (tức là các file thực sự cần được quét để tìm mã độc), nên các công nghệ trên sẽ không được xét đến trong thử nghiệm này. Các sản phẩm diệt virus nên thông báo cho người sử dụng một cách rõ ràng hơn về cách quét hệ thống đã được tối ưu hóa, và sau đó để cho họ tự lựa chọn giữa cách quét tối ưu hóa (tức là bỏ qua các file đã từng được kiểm tra, đi kèm với nguy cơ có thể bỏ qua các mã độc!), hoặc quét toàn bộ hệ thống.
Đồ thị dưới đây cho thấy tốc độ MB/giây (càng cao càng tốt) của các sản phẩm diệt virus khi thực hiện thử nghiệm quét theo yêu cầu với các thiết đặt an ninh ở mức tối đa. Các bộ dữ liệu đều "sạch" (được sử dụng cho thử nghiệm phát hiện/cảnh báo nhầm). Bạn nên lưu ý rằng tốc độ quét có thể khác nhau, tùy theo mẫu được sử dụng, cấu hình của chương trình và phần cứng sử dụng.
Tốc độ quét trung bình được tính bằng kích thước của bộ mẫu (tính theo MB) chia cho tổng thời gian quét. Tốc độ quét trong mỗi thử nghiệm đều khác nhau, và không được sử dụng để so sánh với các thử nghiệm khác (do khác nhau về phần cứng, về bộ mẫu,...). Thử nghiệm đo tốc độ quét ở trên được thực hiện trên Windows XP SP3, Intel Core 2 Duo E8300/2,83GHz, 2 GB RAM, ổ cứng SATA II.
Symantec và AVIRA luôn đứng đầu về tốc độ quét, ngay cả khi thử nghiệm không xem xét tới công nghệ giúp làm giảm thời gian quét dữ liệu. eScan và TrustPort vẫn đứng cuối bảng như năm ngoái, BitDefender và MSE có tốc độ quét chậm, tỷ lệ phát hiện không quá cao nên không có gì nổi bật trong thử nghiệm đầu năm nay cả.
Các giải thưởng đạt được
AV-Comparatives có hệ thống phân loại theo 3 cấp: STANDARD (chuẩn), ADVANCED (nâng cao) và ADVANCED+. Các giải thưởng được đưa ra dựa theo tỷ lệ phát hiện chính xác và tỷ lệ phát hiện nhầm của các phần mềm diệt virus.
Các sản phẩm đánh dấu * là các sản phẩm đạt thứ hạng thấp do các phát hiện/cảnh báo nhầm
Các giải thưởng trên không chỉ dựa trên tỷ lệ phát hiện chính xác, mà còn dựa vào những cảnh báo nhầm đối với các bộ mẫu "sạch". Một sản phẩm có tỷ lệ phát hiện cao, nhưng gây ra nhiều cảnh báo nhầm, chưa chắc đã tốt bằng một sản phẩm có tỷ lệ phát hiện thấp hơn, nhưng có số cảnh báo nhầm thấp hơn.
Giải thưởng được đưa ra dựa theo hệ thống phân loại như trong bảng sau:
