NSS LabsがNGFWの性能評価マップSVMを公開――各製品の特徴を可視化

セキュリティソフトやアプライアンス製品に対して、研究機関や業界団体などが、独自の性能評価を行い、そのレポートを公開することがある。

米国テキサス州オースチンを拠点とする研究機関NSS Labsが、NGFW（Next Generation FireWall）の性能評価に関する結果をSecurity Value Map（SVM）として9月に公開した（図参照）。

NSS Labsは、これまでも、ウイルス対策ソフトの検知率を比較した結果を公開したり、WAFの性能評価を行ったりしているが、その評価方法は、独自のテスト方法により実環境に近い形での性能評価にこだわっている。同社のレポートはベンダーのスペック表などには表れない特性を示したり、高価な製品が必ずしも高い評価を得るとは限らないなど、業界関係者も注目している研究機関だ。

●NSS Labsが公表したSVMとは？

SVMはNGFWの防御性能（防御率）とトラフィック1Mbpsあたりの防御コストをグラフ化したもので、防御率（Security Effectiveness）の高さやそのコストなどが視覚化されている。防御率は、NSS Labs独自の個別製品ごとの分析と全体的な分析によって計算されたもので、単純な検出率ではない。検出率や検出数だけならフィルタリングやルールの設定でいくらでも調整できるからだ。

例えばこのグラフにおいて、シスコの製品は、防御率は99％近くと非常に高い性能を示しているが、トラフィック(Mbps)あたりの防御コストは50ドル近くと他の製品の倍のコストとなっている。このように、各NGFW製品の性能やコストパフォーマンスなどが俯瞰でき、製品ごとの特徴や強み、弱みなどがわかる。なお、この分析で調査対象製品の防御率平均は90％を超えており、コストの平均は約20ドルとなっている。

では、この図で一番性能がよいといえる（バランスしている）製品はどれだろうか。性能とコストという2つの条件のベストとなるポイントに位置するのはWatchGuard XTM 1525だ。シスコのASA5585-x SSP60などは防御率ではWatchGuardより高いが、導入コストもWatchGuardより高くなっている。また、Fortinet(1)はWatchGuardよりもコストは低いが、防御率が劣る。
図ではエンタープライズクラスのWatchGuard XTM1525で評価されているが、XTMシリーズは全て同じセキュリティ機能を提供しているため、ミッドレンジクラスのXTM 5シリーズは、防御率はそのままに導入コストも低く抑えられると考えられる。

●WatchGuardはどのような点が評価されたのか

レポートでは、XTM 1525の成績について、サーバアプリケーションに対する攻撃の96.7%、クライアントアプリケーションに対する攻撃の98.7%を阻止し、全体では97.8%の防御率を達成したと報告している。サーバへの攻撃もクライアントへの攻撃もほぼ同じレベルで防御している点は重要だ。世間を騒がす多くの攻撃はクライアントアプリケーションに集中しがちだ。しかし、近年、DNSキャッシュの問題、Open SSLの脆弱性、Bashの脆弱性といったサーバー側、インフラ側の脆弱性の問題が立て続けに起きている。それでなくてもSQLインジェクションのような攻撃は恒常的な問題となってきている。

だからといってDDoS攻撃や標的型攻撃などクライアントへの攻撃が減っているわけでもない。サーバ、クライアント両方の防御を高いレベルでバランスさせることは、「次世代」ファイアウォールの必須機能といっていいだろう。

●アウトバウンド・インバウンド防御の両立

ファイアウォールの役目は外部（アウトバウンド）からの攻撃を守るだけではない。内部（インバウンド）からのアクセスや通信を遮断する機能も重要だ。スパイウェア、偽アプリ、フィッシングサイトや誘導メールによる攻撃サイトへのアクセスなどを効率よく遮断、もしくはワーニングを上げなければならない。

NSS Labsはこの点も分析している。独自のNSS Application Controlテストによって、複数ルール、複数オブジェクトによるポリシー、多様なアプリケーションポリシーで誤検知、見逃しなどを適切に判断しているかをテストした結果、XTM 1525の全体防御率で約98％という数字を報告している。これより高い防御率を示した製品は存在するが、XTM 1525より低いMbpsあたりの防御コストの製品は存在しない。

●運用を妨げないスループット性能も重要

ファイアウォールのスループット性能も評価ポイントとしては重要だ。NSS Labsのテストでは、Mbps当たりの防御コストという指標に含まれることになる。ファイアウォールは文字通り、外部からの攻撃や汚染データからの最初の防壁となるしくみだ。ここを堅牢にしすぎるとアクセス性やサイトの利便性が落ちるため、サービス品質や応答性をバランスさせる必要がある。とくにビジネスという側面においては、いかに通常サービスを妨げず確実な防御をするかが課題になることが多い。

カタログ仕様では、XTM 1525のファイアウォールスループットは25Gbpsだといい、VPNスループットでも10Gbpsというギガビットクラスのパフォーマンスだ。このスペックが、NSS Labsのテストでも、実際に11ドル／1Mbpsの防御コストという結果に表れているのだろう。

もちろん、目的によっては防御率を優先させたいこともあるだろうし、9割の性能が確保できているなら安いほうがいいという選択肢もある。SVM分析グラフだけで絶対的な評価をすることはできないが、基本的な性能を現す指標としては分かりやすいし参考になるだろう。