AV-Comparatives: On-demand Detection of Malicious Software (Feb 2010)
Mỗi năm, AV-Comparatives đều thực hiện 2 bài thử nghiệm phát hiện mã độc theo yêu cầu đối với các phần mềm diệt virus đạt chất lượng nhất định. Kết quả thử nghiệm tháng 2/2010 mới được công bố hồi cuối tháng 3, theo báo cáo này, năm nay có thêm 4 ứng viên tham gia thử nghiệm, gồm: K7, Panda, PC Tools và Trend Micro.
Danh sách các phần mềm tham gia thử nghiệm gồm:
avast! Free Antivirus 5.0
AVG Anti-Virus 9.0
AVIRA AntiVir Premium 9
BitDefender Antivirus 2010
eScan Anti-Virus 10
ESET NOD32 Anti-Virus 4.0
F-Secure Anti-Virus 2010
G DATA AntiVirus 2010
K7 TotalSecurity 10.0 (new)
Kaspersky Anti-Virus 2010
Kingsoft Antivirus 2010
McAfee AntiVirus Plus 2010
Microsoft Security Essentials 1.0
Norman Antivirus & Anti-Spyware 7.30
Panda Antivirus Pro 2010 (new)
PC Tools Spyware Doctor with AV 7.0 (new)
Sophos Anti-Virus 9.0
Symantec Norton Anti-Virus 2010
Trend Micro AntiVirus plus AntiSpyware 2010 (new)
TrustPort Antivirus 2010
Nếu bạn đang có ý định tìm mua một sản phẩm bảo vệ hệ thống, hãy ghé thăm trang chủ của nhà cung cấp và tải phiên bản thử nghiệm về dùng thử trước khi đưa ra các quyết định dựa trên những thử nghiệm này. Còn có nhiều tính năng và yếu tố quan trọng khác (như giá cả, dễ sử dụng, quản lý, tương thích, giao diện đồ họa, ngôn ngữ, chức năng khóa theo hành vi/HIPS, bộ lọc URL, đánh giá trang web, hỗ trợ...) cần được xem xét cùng. Một vài sản phẩm có thể cung cấp các tính năng phụ, ví dụ như cung cấp khả năng bảo vệ phụ trợ, chống lại các mã độc trong quá trình thực thi của chúng (nếu chúng chưa bị phát hiện trước đó, khi thực hiện quá trình quét theo yêu cầu).
Mặc dù cực kỳ quan trọng, nhưng tỷ lệ phát hiện chỉ là một khía cạnh của sản phẩm diệt virus toàn diện. AV-Comparatives còn cung cấp thử nghiệm đánh giá các phần mềm an ninh toàn diện, cùng với các thử nghiệm khác bao trùm toàn bộ các tính năng của phần mềm bảo mật, như: đánh giá khả năng phát hiện các ứng dụng tiềm ẩn nguy cơ không mong muốn (PUA), đánh giá hiệu năng hoạt động, tốc độ quét, thử nghiệm động...
Hầu hết các sản phẩm hiện nay, theo mặc định, đều chạy ở cấu hình có mức độ an ninh cao nhất (hay ít nhất là tại thời điểm bắt đầu thực hiện việc quét theo yêu cầu, hoặc quét định kỳ), hoặc tự động chuyển sang cấu hình an ninh cao nhất khi phát hiện ra mối nguy hiểm. Vì thế, để có thể so sánh được kết quả kiểm tra, AV-Comparatives đã thực hiện việc thử nghiệm trên các phần mềm với mức độ an ninh tối đa, nếu không có những lời khuyên rõ ràng khác từ nhà phát triển phần mềm (vì khi kiểm tra với cấu hình an ninh tối đa trên tất cả các thử nghiệm, các sản phẩm an ninh thường gây ra nhiều cảnh báo nhầm, ảnh hưởng tới hiệu năng hệ thống, hoặc cũng có thể do nhà phát triển phần mềm có kế hoạch thay đổi các cấu hình thiết đặt trong tương lai).
Dưới đây là một số lưu ý về các thiết đặt đã được sử dụng (tùy chọn quét tất cả các file luôn được sử dụng) của một số sản phẩm:
- AVIRA, Kaspersky, Symantec, TrustPort: yêu cầu được thử nghiệm với thiết đặt phỏng đoán (nghiệm suy) ở mức cao.
- F-Secure, Sophos: yêu cầu được thử nghiệm và đánh giá dựa trên các thiết đặt mặc định của họ (ví dụ như không sử dụng thiết đặt phỏng đoán (nghiệm suy) và phát hiện các dấu hiệu nghi ngờ ở mức cao.
- AVG, AVIRA: yêu cầu không tính các thông tin cảnh báo của các file nén vào tỷ lệ phát hiện, vì thế, các phát hiện trong các file nén này sẽ không được tính vào kết quả, dù đó là sự phát hiện mã độc đúng hay sai.
Những thay đổi trong thử nghiệm lần này
Bộ mẫu sử dụng trong thử nghiệm lần này nhỏ hơn các lần khác, nguyên nhân là do AV-Comparatives hiện đang cố gắng sử dụng bộ mẫu chứa những mã độc hiện đang thịnh hành và vẫn còn tồn tại (trong vòng 8 tháng trước). Để xây dựng bộ mẫu, họ đã tham khảo thông tin dữ liệu (metadata), các dữ liệu đo đạc từ xa được thu thập và chia sẻ trong lĩnh vực diệt virus, cũng như những truy vấn điện toán đám mây và yêu cầu dữ liệu về các mã độc phổ biến nhất được ghi nhận từ người dùng. Các mã độc ghi nhận được từ máy tính của người dùng sẽ tự động được xem như mức quan trọng. Tuy nhiên, không phải tất cả các nguồn cung cấp mẫu đều có sự ổn định như nhau, một số bộ mẫu đã bị xóa bỏ. Điều này sẽ được cải thiện trong tương lai, nhóm thử nghiệm đang làm việc để cải tiến các quá trình chia sẻ dữ liệu của họ.
Dù sao đi nữa, các bộ mẫu được sử dụng có thể sẽ ngày càng nhỏ hơn, và tập trung chủ yếu vào các mối nguy hiểm dễ bị phát hiện và đánh dấu, nên điểm đạt được của các sản phẩm an ninh sẽ cao hơn. Đó là lý do AV-Comparatives sẽ tăng số điểm của các cấp độ trong các lần thử nghiệm tới. Lần tới, để đạt được mức ADVANCED+, điểm cho các thử nghiệm phát hiện nhầm (FPs) sẽ còn khắt khe hơn nữa.
Kết quả thử nghiệm
Biểu đồ so sánh cách mẫu mã độc bị bỏ sót (Càng thấp càng tốt)
Số phần trăm trên biểu đồ cho thấy kết quả kiểm tra với bộ mẫu thử đã sử dụng. Mặc dù đây chỉ là bộ mẫu thử nhỏ, nhưng chúng ta có thể thấy các sản phẩm bỏ sót khá nhiều mẫu mã độc, ví dụ: AVIRA là phần mềm bỏ sót ít mã độc nhất, nhưng tỷ lệ 0,4% của nó cũng đã tương đương với khoảng 4.933 mã độc, còn Kingsoft thì bỏ sót tới 18,2%, tức là khoảng 244.467 mã độc!
Symantec, phần mềm đoạt giải nhất năm 2009, bỏ sót tới 1,4% (tức là khoảng 17.000 mã độc), trong khi đó Kaspersky, sản phẩm đứng thứ 2 của năm 2009 thì bỏ sót số lượng malware gấp đôi (2,9%, tức khoảng 35.000 mã độc). G DATA và AVIRA vẫn giữ được tỷ lệ phát hiện rất cao giống như thử nghiệm năm ngoái. Tuy nhiên, để đánh giá một phần mềm diệt virus thì chúng ta còn cần phải xem xét tới tỷ lệ phát hiện/cảnh báo nhầm (FPs) nữa.
Các kết quả của thử nghiệm "quét theo yêu cầu" (On-demand test) cũng thường được áp dụng cho thử nghiệm "quét khi truy xuất" (On-access test), nếu được thiết lập cấu hình tương tự, nhưng không được áp dụng cho các công nghệ bảo vệ khi thực thi lệnh (On-execution), như HIPS, khóa theo hành vi,...
Tỷ lệ phát hiện tốt vẫn là một trong những đặc tính quan trọng nhất, là yếu tố quyết định và đáng tin cậy của một sản phẩm diệt virus. Bên cạnh đó, hầu hết các sản phẩm có ít nhất một số kiểu HIPS, khóa các mã độc dựa theo hành vi hay theo các chức năng khác của chúng (hoặc ít nhất là có cảnh báo mối nguy hiểm), ví dụ như trong quá trình các mã độc đang thực thi lệnh, khi mà sự bảo vệ on-demand và on-access đều đã thất bại.
Tỷ lệ phát hiện (trong tổng số khoảng 1,2 triệu mẫu)
Thử nghiệm đo số lần phát hiện/cảnh báo nhầm (FP - false alarm)
Để đánh giá chất lượng của một phần mềm an ninh, chúng ta cần phải xem xét tới khả năng phát hiện chính xác, được đo đạc thông qua các thử nghiệm gây cảnh báo nhầm. Các cảnh báo/phát hiện nhầm gây ra những vấn đề nghiêm trọng không kém so với các trường hợp bị lây nhiễm virus thật. Thường thì các phần mềm có tỷ lệ phát hiện mã độc cao, cũng sẽ gây ra nhiều cảnh báo nhầm hơn. Tất cả các cảnh báo nhầm đều đã được AV-Comparatives thông báo đến nhà phát triển phần mềm an ninh, và hiện chúng đã được khắc phục.
Tỷ lệ phát hiện nhầm của eScan và F-Secure vẫn dẫn đầu (ít nhất) giống như các năm trước, kế đến là BitDefender và Microsoft. Năm nay ESET có nhiều tiến bộ so với thử nghiệm hồi tháng 8 năm ngoái. Riêng Kingsoft thì vẫn giữ nguyên "truyền thống" của mình qua vài năm tham gia thử nghiệm: tỷ lệ phát hiện mã độc thấp và cảnh báo nhầm luôn ở mức cao.
Thử nghiệm đánh giá tốc độ quét
Tốc độ quét của các phần mềm diệt virus không giống nhau do nhiều nguyên nhân, có thể do chúng có sử dụng các mã mô phỏng, có khả năng phát hiện các virus đa hình, quét sâu và phân tích hành vi, quét rootkit, quét các file nén, tính năng quét kiểm tra các yếu tố an ninh phụ khác, quét toàn bộ các kiểu file, sử dụng danh sách trắng từ cơ sở dữ liệu điện toán đám mây,...
Phần lớn các sản phẩm đều làm giảm thời gian quét bằng cách bỏ qua các file đã được quét trước đó. Do chúng ta cần biết tốc độ quét thực tế (tức là các file thực sự cần được quét để tìm mã độc), nên các công nghệ trên sẽ không được xét đến trong thử nghiệm này. Các sản phẩm diệt virus nên thông báo cho người sử dụng một cách rõ ràng hơn về cách quét hệ thống đã được tối ưu hóa, và sau đó để cho họ tự lựa chọn giữa cách quét tối ưu hóa (tức là bỏ qua các file đã từng được kiểm tra, đi kèm với nguy cơ có thể bỏ qua các mã độc!), hoặc quét toàn bộ hệ thống.
Đồ thị dưới đây cho thấy tốc độ MB/giây (càng cao càng tốt) của các sản phẩm diệt virus khi thực hiện thử nghiệm quét theo yêu cầu với các thiết đặt an ninh ở mức tối đa. Các bộ dữ liệu đều "sạch" (được sử dụng cho thử nghiệm phát hiện/cảnh báo nhầm). Bạn nên lưu ý rằng tốc độ quét có thể khác nhau, tùy theo mẫu được sử dụng, cấu hình của chương trình và phần cứng sử dụng.
Tốc độ quét trung bình được tính bằng kích thước của bộ mẫu (tính theo MB) chia cho tổng thời gian quét. Tốc độ quét trong mỗi thử nghiệm đều khác nhau, và không được sử dụng để so sánh với các thử nghiệm khác (do khác nhau về phần cứng, về bộ mẫu,...). Thử nghiệm đo tốc độ quét ở trên được thực hiện trên Windows XP SP3, Intel Core 2 Duo E8300/2,83GHz, 2 GB RAM, ổ cứng SATA II.
Symantec và AVIRA luôn đứng đầu về tốc độ quét, ngay cả khi thử nghiệm không xem xét tới công nghệ giúp làm giảm thời gian quét dữ liệu. eScan và TrustPort vẫn đứng cuối bảng như năm ngoái, BitDefender và MSE có tốc độ quét chậm, tỷ lệ phát hiện không quá cao nên không có gì nổi bật trong thử nghiệm đầu năm nay cả.
Các giải thưởng đạt được
AV-Comparatives có hệ thống phân loại theo 3 cấp: STANDARD (chuẩn), ADVANCED (nâng cao) và ADVANCED+. Các giải thưởng được đưa ra dựa theo tỷ lệ phát hiện chính xác và tỷ lệ phát hiện nhầm của các phần mềm diệt virus.
Các sản phẩm đánh dấu * là các sản phẩm đạt thứ hạng thấp do các phát hiện/cảnh báo nhầm
Các giải thưởng trên không chỉ dựa trên tỷ lệ phát hiện chính xác, mà còn dựa vào những cảnh báo nhầm đối với các bộ mẫu "sạch". Một sản phẩm có tỷ lệ phát hiện cao, nhưng gây ra nhiều cảnh báo nhầm, chưa chắc đã tốt bằng một sản phẩm có tỷ lệ phát hiện thấp hơn, nhưng có số cảnh báo nhầm thấp hơn.
Giải thưởng được đưa ra dựa theo hệ thống phân loại như trong bảng sau:
Dù sao đi nữa, các bộ mẫu được sử dụng có thể sẽ ngày càng nhỏ hơn, và tập trung chủ yếu vào các mối nguy hiểm dễ bị phát hiện và đánh dấu, nên điểm đạt được của các sản phẩm an ninh sẽ cao hơn. Đó là lý do AV-Comparatives sẽ tăng số điểm của các cấp độ trong các lần thử nghiệm tới. Lần tới, để đạt được mức ADVANCED+, điểm cho các thử nghiệm phát hiện nhầm (FPs) sẽ còn khắt khe hơn nữa.
Kết quả thử nghiệm
Biểu đồ so sánh cách mẫu mã độc bị bỏ sót (Càng thấp càng tốt)
Số phần trăm trên biểu đồ cho thấy kết quả kiểm tra với bộ mẫu thử đã sử dụng. Mặc dù đây chỉ là bộ mẫu thử nhỏ, nhưng chúng ta có thể thấy các sản phẩm bỏ sót khá nhiều mẫu mã độc, ví dụ: AVIRA là phần mềm bỏ sót ít mã độc nhất, nhưng tỷ lệ 0,4% của nó cũng đã tương đương với khoảng 4.933 mã độc, còn Kingsoft thì bỏ sót tới 18,2%, tức là khoảng 244.467 mã độc!
Symantec, phần mềm đoạt giải nhất năm 2009, bỏ sót tới 1,4% (tức là khoảng 17.000 mã độc), trong khi đó Kaspersky, sản phẩm đứng thứ 2 của năm 2009 thì bỏ sót số lượng malware gấp đôi (2,9%, tức khoảng 35.000 mã độc). G DATA và AVIRA vẫn giữ được tỷ lệ phát hiện rất cao giống như thử nghiệm năm ngoái. Tuy nhiên, để đánh giá một phần mềm diệt virus thì chúng ta còn cần phải xem xét tới tỷ lệ phát hiện/cảnh báo nhầm (FPs) nữa.
Các kết quả của thử nghiệm "quét theo yêu cầu" (On-demand test) cũng thường được áp dụng cho thử nghiệm "quét khi truy xuất" (On-access test), nếu được thiết lập cấu hình tương tự, nhưng không được áp dụng cho các công nghệ bảo vệ khi thực thi lệnh (On-execution), như HIPS, khóa theo hành vi,...
Tỷ lệ phát hiện tốt vẫn là một trong những đặc tính quan trọng nhất, là yếu tố quyết định và đáng tin cậy của một sản phẩm diệt virus. Bên cạnh đó, hầu hết các sản phẩm có ít nhất một số kiểu HIPS, khóa các mã độc dựa theo hành vi hay theo các chức năng khác của chúng (hoặc ít nhất là có cảnh báo mối nguy hiểm), ví dụ như trong quá trình các mã độc đang thực thi lệnh, khi mà sự bảo vệ on-demand và on-access đều đã thất bại.
Tỷ lệ phát hiện (trong tổng số khoảng 1,2 triệu mẫu)
Phía trên là tỷ lệ phát hiện mã độc trong thử nghiệm quét theo yêu cầu. Đây là lần đầu tiên Panda và PCTools tham gia thử nghiệm nhưng đã cho thấy kết quả rất tốt. Symantec, BitDefender và ESET vẫn giữ được phong độ như năm ngoái, nhưng do có nhiều sự thay đổi vượt bậc từ những phần mềm khác nên 3 đại gia này vẫn bị tụt thứ hạng chút xíu. Kapersky và Microsoft tuy đã có nhiều cố gắng để nâng tỷ lệ phát hiện mã độc (Kapersky tăng từ 94,7% lên 97,1%), MSE tăng từ 90,0% lên 96,3%), nhưng vẫn chỉ đứng ở gần cuối nhóm 2.
Kết quả phụ: Khi thực hiện đo đạc tỷ lệ phát hiện của McAfee có sử dụng công nghệ điện toán đám mây, phần mềm này đạt được tỷ lệ rất cao (99%), nhưng gây ra rất nhiều cảnh báo nhầm. Tỷ lệ phát hiện tối thiểu của một số phần mềm khi không có kết nối internet (tức là không có công nghệ điện toán đám mây) là: McAfee 94,9% (19 FPs), Panda 73,3% (32 FPs), Trend Micro 68,5% (22 FPs). Điều này cũng có nghĩa là: nếu như máy tính của bạn tạm thời không có kết nối Internet, thì các ứng dụng điện toán đám mây sẽ không có đất dụng võ, và bạn nên xem xét tới các phần mềm có tỷ lệ phát hiện cao hơn khi không sử dụng công nghệ điện toán đám mây, nếu bạn sử dụng Panda hay Trend Micro mà không có kết nối Internet, chúng có khả năng sẽ bỏ lỡ các mã độc tồn tại trên hệ thống. McAfee làm khá tốt với cả trường hợp có áp dụng công nghệ điện toán đám mây và trường hợp hoạt động ngoại tuyến (offline), nhưng hãy chú ý rằng nó cũng sẽ gây ra nhiều cảnh báo không chính xác.
Bộ mẫu thử được sử dụng trong thử nghiệm tháng 1/2010 gồm khoảng 1,2 triệu mã độc, nhỏ hơn so với các lần thử nghiệm trước, nhưng nó "thực tế" hơn, như tôi đã giải thích ở phía trên.
Thử nghiệm đo số lần phát hiện/cảnh báo nhầm (FP - false alarm)
Để đánh giá chất lượng của một phần mềm an ninh, chúng ta cần phải xem xét tới khả năng phát hiện chính xác, được đo đạc thông qua các thử nghiệm gây cảnh báo nhầm. Các cảnh báo/phát hiện nhầm gây ra những vấn đề nghiêm trọng không kém so với các trường hợp bị lây nhiễm virus thật. Thường thì các phần mềm có tỷ lệ phát hiện mã độc cao, cũng sẽ gây ra nhiều cảnh báo nhầm hơn. Tất cả các cảnh báo nhầm đều đã được AV-Comparatives thông báo đến nhà phát triển phần mềm an ninh, và hiện chúng đã được khắc phục.
Tỷ lệ phát hiện nhầm của eScan và F-Secure vẫn dẫn đầu (ít nhất) giống như các năm trước, kế đến là BitDefender và Microsoft. Năm nay ESET có nhiều tiến bộ so với thử nghiệm hồi tháng 8 năm ngoái. Riêng Kingsoft thì vẫn giữ nguyên "truyền thống" của mình qua vài năm tham gia thử nghiệm: tỷ lệ phát hiện mã độc thấp và cảnh báo nhầm luôn ở mức cao.
Thử nghiệm đánh giá tốc độ quét
Tốc độ quét của các phần mềm diệt virus không giống nhau do nhiều nguyên nhân, có thể do chúng có sử dụng các mã mô phỏng, có khả năng phát hiện các virus đa hình, quét sâu và phân tích hành vi, quét rootkit, quét các file nén, tính năng quét kiểm tra các yếu tố an ninh phụ khác, quét toàn bộ các kiểu file, sử dụng danh sách trắng từ cơ sở dữ liệu điện toán đám mây,...
Phần lớn các sản phẩm đều làm giảm thời gian quét bằng cách bỏ qua các file đã được quét trước đó. Do chúng ta cần biết tốc độ quét thực tế (tức là các file thực sự cần được quét để tìm mã độc), nên các công nghệ trên sẽ không được xét đến trong thử nghiệm này. Các sản phẩm diệt virus nên thông báo cho người sử dụng một cách rõ ràng hơn về cách quét hệ thống đã được tối ưu hóa, và sau đó để cho họ tự lựa chọn giữa cách quét tối ưu hóa (tức là bỏ qua các file đã từng được kiểm tra, đi kèm với nguy cơ có thể bỏ qua các mã độc!), hoặc quét toàn bộ hệ thống.
Đồ thị dưới đây cho thấy tốc độ MB/giây (càng cao càng tốt) của các sản phẩm diệt virus khi thực hiện thử nghiệm quét theo yêu cầu với các thiết đặt an ninh ở mức tối đa. Các bộ dữ liệu đều "sạch" (được sử dụng cho thử nghiệm phát hiện/cảnh báo nhầm). Bạn nên lưu ý rằng tốc độ quét có thể khác nhau, tùy theo mẫu được sử dụng, cấu hình của chương trình và phần cứng sử dụng.
Tốc độ quét trung bình được tính bằng kích thước của bộ mẫu (tính theo MB) chia cho tổng thời gian quét. Tốc độ quét trong mỗi thử nghiệm đều khác nhau, và không được sử dụng để so sánh với các thử nghiệm khác (do khác nhau về phần cứng, về bộ mẫu,...). Thử nghiệm đo tốc độ quét ở trên được thực hiện trên Windows XP SP3, Intel Core 2 Duo E8300/2,83GHz, 2 GB RAM, ổ cứng SATA II.
Symantec và AVIRA luôn đứng đầu về tốc độ quét, ngay cả khi thử nghiệm không xem xét tới công nghệ giúp làm giảm thời gian quét dữ liệu. eScan và TrustPort vẫn đứng cuối bảng như năm ngoái, BitDefender và MSE có tốc độ quét chậm, tỷ lệ phát hiện không quá cao nên không có gì nổi bật trong thử nghiệm đầu năm nay cả.
Các giải thưởng đạt được
AV-Comparatives có hệ thống phân loại theo 3 cấp: STANDARD (chuẩn), ADVANCED (nâng cao) và ADVANCED+. Các giải thưởng được đưa ra dựa theo tỷ lệ phát hiện chính xác và tỷ lệ phát hiện nhầm của các phần mềm diệt virus.
Các sản phẩm đánh dấu * là các sản phẩm đạt thứ hạng thấp do các phát hiện/cảnh báo nhầm
Các giải thưởng trên không chỉ dựa trên tỷ lệ phát hiện chính xác, mà còn dựa vào những cảnh báo nhầm đối với các bộ mẫu "sạch". Một sản phẩm có tỷ lệ phát hiện cao, nhưng gây ra nhiều cảnh báo nhầm, chưa chắc đã tốt bằng một sản phẩm có tỷ lệ phát hiện thấp hơn, nhưng có số cảnh báo nhầm thấp hơn.
Giải thưởng được đưa ra dựa theo hệ thống phân loại như trong bảng sau:
0 comments: