VB100: RAP (reactive/proactive) testing - April 2010

Wednesday, April 21, 2010 Unknown 0 Comments

Như đã giới thiệu trong bài viết cuối năm ngoái của tôi, từ tháng 2/2009, VB100 sẽ thực hiện các bài thử nghiệm RAP (reactive/proactive) theo định kỳ 2 tháng, mà chúng ta sẽ tạm gọi là bài kiểm tra đo khả năng phản ứng nhanh/bảo vệ tiên phong. Thử nghiệm RAP của VB100 sẽ đo khả năng phản ứng và bảo vệ đón đầu chống lại các mã độc xuất hiện trên toàn thế giới. Các thử nghiệm này được tiến hành thông qua 4 bộ mẫu riêng biệt. 3 bộ mẫu đầu chứa các mã độc được thu thập trong mỗi tuần trước thời hạn giao nộp sản phẩm tham gia thử nghiệm. Những thử nghiệm này sẽ đo khả năng phản ứng nhanh của các nhà phát triển sản phẩm với dòng mã độc ổn định xuất hiện trên toàn thế giới. Kết quả của các thử nghiệm này đã được VB100 công bố hồi đầu tháng 4/2010. Bộ mã độc thứ 4 bao gồm các mã độc lần đầu xuất hiện, được thu thập vào tuần ngay sau hạn chót nộp sản phẩm tham gia thử nghiệm, giúp đánh giá khả năng phát hiện đón đầu các mã độc mới, chưa được nhận dạng, dựa vào phép nghiệm suy và phân tích chủng loại.

Như vậy, trong 2 loại thử nghiệm mà VB100 thực hiện, thì tôi cho rằng thử nghiệm RAP có ý nghĩa thực tế hơn, vì tuy nó sử dụng bộ mẫu nhỏ hơn so với thử nghiệm VB100, nhưng những mẫu mã độc dùng trong thử nghiệm mới hơn và là những mẫu mã độc hiện đang tồn tại và lây nhiễm trên toàn thế giới. Để các bạn hiểu rõ hơn về thử nghiệm RAP, tôi sẽ giới thiệu chi tiết về thử nghiệm này của VB100. Sự khác nhau giữa các phòng thử nghiệm phần mềm diệt virus có thể đọc kỹ hơn tại đây.

Về thử nghiệm RAP của VB100

Thử nghiệm đo khả năng phản ứng (Reactive)

Sau khi xác định thời hạn nộp sản phẩm cho bài đánh giá so sánh, Virus Bulletin sẽ biên soạn một bộ sưu tập các mẫu phần mềm độc hại được gặp lần đầu tiên trong mỗi trong ba tuần trước ngày hạn chót. Chúng được gọi là "tuần -3", "tuần -2" và "tuần -1". Những mẫu thử nghiệm này sẽ được sử dụng cho bài kiểm tra đánh giá so sánh khả năng "phản ứng" của các phần mềm; nó cho biết các nhà phát triển sản phẩm và các phòng thí nghiệm có thể làm tốt tới đâu trong việc bắt kịp sự phát triển ổn định và vững chắc của các phần mềm độc hại mới đang xuất hiện từng ngày trên khắp thế giới. Hầu hết các mẫu đều nằm trong các tập hợp được thu thập hàng ngày, được chia sẻ giữa các phòng thí nghiệm và các tổ chức đáng tin cậy. Chúng thường được coi như mức ưu tiên cao, và do đó các phòng thí nghiệm phần mềm độc hại có uy tín nhất cần phải có quyền truy cập vào các mẫu ngay khi chúng ta thấy chúng, nếu không muốn nói là trước cả khi chúng ta thấy chúng. Việc xác định xem liệu các sản phẩm diệt virus có thể đương đầu với các mã độc hay không, và nếu cần, xem xét thêm cả khả năng phát hiện mã độc, là mục tiêu chính của thử nghiệm.

Mức ưu tiên cũng là một vấn đề chính ở đây, và một số phòng thí nghiệm có lẽ hoàn toàn đúng khi coi khả năng phát hiện được toàn bộ những thứ nguy hiểm và đặc biệt phổ biến là quan trọng hơn so với việc nhắm vào mục tiêu mơ hồ là các trojan, thứ mà hầu như không có khả năng xuất hiện trở lại. Để khắc phục điều này, Virus Bulletin đã thực hiện một số ưu tiên của riêng họ, quá trình lựa chọn mẫu từ các dữ liệu phổ biến được họ thu thập từ nhiều nguồn, mục đích là để thu thập được những thứ quan trọng nhất. Điều này không phải là một nhiệm vụ đơn giản; các dữ liệu phổ biến tồn tại ở nhiều dạng, và chúng ngày càng khó khăn trong việc phân loại, do các họ gia đình và tên nhóm biến thể ngày càng trở nên mơ hồ và chung chung.

Nhánh thứ hai trong bài kiểm tra mới này là góc độ chủ động. Ngoài các bộ mẫu được thu thập trước hạn nộp sản phẩm một tuần và được sử dụng trong ba bài kiểm tra trước, một bộ mẫu thứ tư sẽ được thu thập vào tuần ngay sau hạn nộp sản phẩm ("tuần +1"). Bộ này bao gồm chủ yếu các mẫu chưa gặp trong các phòng thí nghiệm tại thời điểm nộp sản phẩm, và do đó sẽ không được sử dụng trong thử nghiệm phát hiện mục tiêu. Mục đích của thử nghiệm này là để đánh giá khả năng phát hiện các mẫu mã độc mới và chưa biết của sản phẩm một cách chủ động, bằng cách sử dụng các kỹ thuật nghiệm suy và phân tích loại. So sánh kết quả của "tuần +1" với kết quả của ba tuần trước đó sẽ cung cấp một cái nhìn sâu sắc vào mức độ chủ động tương phản với sự phản ứng nhanh của các nhà cung cấp.

Đây là một bước tiến đáng kể trong thử nghiệm so sánh của VB, trong đó bộ mẫu kiểm tra (cả các mẫu độc hại và các mẫu sách) được đặt trước thời hạn một cách nghiêm ngặt (một vài ngày trước thời hạn nộp sản phẩm), cung cấp cho các nhà phát triển sản phẩm thời gian để đảm bảo rằng sản phẩm của họ có thể hoàn toàn kiểm soát được các mẫu trong thử nghiệm của VB. Điều này cũng có nghĩa là bài kiểm tra toàn diện không thể bắt đầu cho đến một tuần sau thời hạn nộp sản phẩm. Trong quá khứ, các sản phẩm tham gia thử nghiệm đã được tiến hành kiểm tra trong khoảng một tháng trước khi kết quả được công bố, các thử nghiệm và việc xử lý kết quả được tiến hành trong suốt một tháng. Do đây đã là một lịch trình khá chặt chẽ - đặc biệt là với số lượng ngày càng tăng của các sản phẩm tham gia trong những năm gần đây - nên có lẽ cần thiết lập thời hạn sớm hơn một chút, nhưng những điều chỉnh lịch trình này cần ở mức tối thiểu, để đảm bảo kết quả công bố là cập nhật nhất có thể.

Việc điều chỉnh trong thời gian thử nghiệm cũng sẽ gây áp lực đáng kể vào quá trình xác nhận phần mềm độc hại của VB. Hiện VB đang tập trung vào việc cố gắng để tự động hóa quá trình xác nhận càng nhiều càng tốt, để có được số lượng mẫu xử lý sử dụng trong thử nghiệm nhiều nhất có thể.

Những độc giả thông minh có thể dự đoán được ngay kết quả đầu ra của những thử nghiệm này. Dự đoán ban đầu là hầu hết các sản phẩm sẽ cho thấy sự suy giảm nhỏ về hiệu suất trong ba tuần với thử nghiệm phản ứng, với sự thay đổi rõ rệt nhất là đối với bộ sưu tập mẫu thu thập cách đây lâu nhất ("tuần -3"), và sự suy giảm còn rõ rệt hơn trong thử nghiệm phát hiện tiên phong các mã độc ("tuần +1"). Mô hình này dự kiến sẽ được thấy rất rõ ràng đối với cho những sản phẩm mà các phòng thí nghiệm tập trung vào thời gian phản ứng nhanh qua phép nghiệm suy. Trong các thử nghiệm, mô hình này được tiếp nối khá tốt ở mức độ chung, nhưng ở cấp độ sản phẩm cá nhân có nhiều bất ngờ và dị thường, một xu hướng đặc biệt thú vị là sự thể hiện đáng thất vọng của nhiều sản phẩm đối với các mẫu ở "tuần -3" so với các mẫu ở "tuần -1".



Các kết quả thử nghiệm sẽ được thể hiện bằng biểu đồ, như hình minh họa ở trên. Ba thanh màu xanh nhạt đại diện (từ trái qua) cho tuần -3, -2 và -1, trong khi thanh màu xanh đậm tượng trưng cho tuần +1. Điểm RAP tổng thể cũng được trình bày trên đồ thị, đại diện cho khả năng phát hiện trung bình trong vòng bốn tuần. Các trường hợp sản phẩm gây ra cảnh báo nhầm trong thử nghiệm sẽ được tô màu đỏ ở nền đồ thị và có một dấu gạch chéo (dấu nhân "X") lớn, màu đen, cùng với ký hiệu "FP =" cho biết số lượng cảnh báo nhầm gây ra.

Kết quả thử nghiệm RAP tháng 4/2010

Danh sách các sản phẩm tham gia thử nghiệm:

Agnitum Outpost Security Suite Pro
AhnLab V3 Internet Security
Alwil avast! free antivirus
Arcabit ArcaVir 2010
Authentium Command Anti-Malware
Avanquest Double Anti-Spy Professional
AVG Internet Security Network Edition
Avira AntiVir Personal
Avira AntiVir Professional
BitDefender Antivirus 2010
Bkav Gateway Scan
Bkav Home Edition
Bullguard Antivirus
CA Threat Manager
Central Command Vexira Antivirus Professional
Check Point Zone Alarm Suite
Defenx Security Suite 2010
Digital Defender Antivirus
eEye Digital Security Blink Professional
Emsisoft a-squared Anti-Malware
eScan Internet Security for Windows
ESET NOD32 Antivirus
Filseclab Twister Anti-TrojanVirus
Fortinet FortiClient
Frisk F-PROT
F-Secure Client Security
F-Secure PSB Workstation Security
G DATA Antivirus 2010
Ikarus virus.utilities
iolo System Mechanic Professional
K7 Total Security
Kaspersky Anti-Virus 2010
Kaspersky Anti-Virus 6 for Windows Workstations
Kingsoft Internet Security 2010 Advanced Edition
Kingsoft Internet Security 2010 Standard Edition
Kingsoft Internet Security 2010 Swinstar Edition
Lavasoft Ad-Aware Professional Internet Security
McAfee Total Protection
McAfee VirusScan Enterprise
Microsoft Security Essentials
Nifty Corp. Security 24
Norman Security Suite
Norman Security Suite
PC Tools Internet Security 2010
PC Tools Spyware Doctor
Preventon AntiVirus
Proland Protector Plus Professional
Qihoo 360 Security
Quick Heal AntiVirus 2010
Rising Internet Security 2010
SGA Corp. SGA-VC
Sophos Endpoint Security and Control
SPAMfighter VIRUSfighter Plus
SPAMfighter VIRUSfighter Pro
Sunbelt VIPRE AntiVirus Premium
Symantec Endpoint Protection
Symantec Norton Antivirus
Trustport Antivirus 2010
VirusBuster Professional
Webroot AntiVirus with SpySweeper