セキュリティ診断サービスにとって品質とは？ SHIFT SECURITY 執行役員中村丈洋に聞く

　あるセキュリティ企業が、ISMS（情報セキュリティマネジメントシステム／ ISO 27001 ）と QMS（品質マネジメントシステム／ ISO 9001 ）の認証を同時取得した。セキュリティ企業にとって ISMS はごくありふれた国際規格だが、品質と顧客満足の向上を目的とする QMS の方の取得はあまり例がない。

　QMS は製造物や提供サービスの品質を管理監督するための体系。セキュリティ企業、特に脆弱性診断やペネトレーションテストサービスを提供する企業が QMS を取得した例はこれまで多くなかった。ISMSとQMSをダブル取得した企業、株式会社SHIFT SECURITY 執行役員中村丈洋工学博士に話を聞いた。

――そもそも SHIFT SECURITY は診断サービスの標準化を進めている企業ですが、あらためて国際標準を取る意味は何ですか。

　自分たちがやっている取り組みが、果たして正しいのかどうか、それを評価できるところが、ISO のような広く一般に使われている規格を取り入れることの趣旨・利点だと考えています。

　今までは「SHIFT SECURITY ではこういう取り組みをしています」と細かい説明が必要でしたが、実際に取得してラベルを持つと、それを一言で「 ISMS 」「 QMS 」という言葉にまとめて、お客さんに簡単に説明できるようになりました。

　また、国際基準は「オレオレ規格」ではないところが重要です。オレオレ規格とは「社内ルールではこうやっています」とか、診断ベンダーなら「我々の診断基準はこういう風に定めています」といったWebサイトに書いてあるようなことです。オレオレ規格ではない ISMS、QMS という裏付けを持つことができました。

――セキュリティ企業で QMS を取得している企業は多くありません。どんな目的がありましたか。

　もともとセキュリティ診断は、非常に属人的な業界というのが背景としてあると思います。SHIFT SECURITY の創設の理念は、それまでホワイトハッカーに依存していた診断を、しっかりと仕組み化、可視化し、標準化することで問題を解決しようというものです。QMS を取るのは我々としては当然の流れのひとつでした。

　よくスーパーで、野菜の品質を担保するために「私がこの野菜を作りました」とラベルに生産者の写真が載っていることがあります。正直、私はあれだけでは足りないと思っています。その人がどういう風に育てているのか、たとえば無農薬なのかどうか、また、糖度やうま味成分がどれだけあるのかなど、載せるべき情報はたくさんあると思います。それなのに「私が作りました」という写真だけ。これが、今、脆弱性診断業界でやっていることだと思います。

――もし仮に、属人化した産業が QMS を取得しようとするなら、どうすればいいでしょう。

　そもそも QMS を取るのが難しいと思います。人に依拠したサービスの品質と顧客満足を管理するわけですから、当然、人を維持する仕組ということになります。ホワイトハッカーを定常的に雇用する仕組や、育成する仕組、他社に転職することをブロックする仕組などです。そういう方向で QMS を取ることも考えられないことではありません。

―― SHIFT SECURITY はどう QMS を取得しましたか。

　今まで我々がやってきたことと基本的には変わりません。極端に言えば、いままでやってきたことを QMS の書式で文書化しただけともいえます。今まで SHIFT SECURITY は、診断品質を可視化してきました。品質を数値として定量的に、あるいは定性的に評価する軸を持っています。親会社の株式会社SHIFTはソフトウェアテストの企業で、我々はもともとテストの専門家ですからテストの品質を重視します。

　脆弱性診断でも、その品質が良いかどうかを評価するための軸があり、たとえば ASVS のカバレッジ、診断結果の偽陰性・偽陽性率、コストとデリバリーの最適化、これはたとえば一日に一人で 10 リクエストを診断できるようにする、などです。（編集部註：偽陰性（false negative）：本当は脆弱性が有るのに無いと判断されること／偽陽性（false positive）：脆弱性が無いのに有ると判断されること）

――カバレッジとは具体的に何を指しますか？

　OWASP が標準として定めている ASVS（Application Security Verification Standard）をどこまで網羅しているかがカバレッジです。SHIFT SECURITY の脆弱性診断は、ASVS のレベル 1 を余さず全て網羅するカバレッジ 100 にして実施します。

　実際の診断の最小単位となるテストケースは、診断の観点と、リクエストあるいは画面要素の掛け算で発生します。たとえば平均的な Web アプリケーションの場合、リクエストの数が 20 から 30 というのが一般的な診断ボリュームです。その 20 ～ 30 のリクエストあるいは画面要素に対して、「SQLインジェクション」「XSS」「CSRF」など、さまざまな観点で診断を行っていきます。

　ひとつの観点を検査するためには、どんなケースが必要かが定義されており、たとえば「 CSRF 対策が行われていること」という観点に対して今の SHIFT SECURITY では、4 ～ 5 ケースぐらい手順があります。ですので、リクエストや画面要素がたとえば 10 あれば、10 × 4 ～ 5 ケース＝ 40 ～ 50 の項目の診断を行うことで、診断対象となったWebアプリケーションで「 CSRF の脆弱性がない」という診断が完了します。

　SHIFT SECURITY は創業時から、この項目を診断実施前に顧客に提示し、終了後に報告書として結果を提出してきました。今までやってきたことの延長ではありますが、今回、QMS を取得したことでこれらのプロセスの文書が整備されマインドが上がったと思います。

―― SHIFT SECURITY が目指すセキュリティ診断とは何ですか？

　SHIFT SECURITY は「ビジネスを伸ばしていくセキュリティ診断サービス」を提供したいと考えています。たとえばバグバウンティのようなレベルの診断は、世の中が求めるセキュリティ診断サービスのボリュームゾーンではないと思います。ビジネスを伸ばすためのセキュリティに我々は寄り添っていきたいと思います。我々 SHIFT SECURITY にとって診断の品質とは「安定性」「網羅性」「適正なコスト」「短納期」を全て同時に、全顧客に常に提供することです。

――ありがとうございました。

　SHIFT SECURITY が行った「脆弱性診断の標準化」とは、それほど複雑なことではない。単に「非常に緻密なマニュアル化」といえる。熟練の診断士が行う作業を棚卸しして、他の診断士が共有できるようにしただけだ。ただ、その棚卸しに 100 ％の完成度を追求したところに、この企業の偏執狂的情熱とオリジナリティがあった。

　要は経験のある脆弱性診断士が、特定の Web アプリケーションの診断で行った検査項目が、彼らの言葉を借りればたとえば総数で 3,825 ケースあったとしたら、別の（最初の診断士よりは相対的に練度の低い）診断士が、その 3,825 ケースをまったく同一に再現できるレベルまで行き着いた。

　同社は現在国内外に複数の拠点を持ち、総数 218 名の社員のうち 180 名が脆弱性診断等を行うセキュリティエンジニアだが（2020年11月11日現在）、その 180 名全員誰が担当しても 3,825 ケースが検査される。3,824 でも 3,826 でも、一つ減っても一つ増えても、社内で問題になる。事前に仕様書と事後に報告書が出されるから項目の増減は一目瞭然。しかも 180 名全員、診断終了までの所要時間にほとんど差が無い。少々頭がくらくらするが、これはセキュリティ企業を舞台にしたカフカの未発見短編でも村上春樹の新作でもない。現実である。

　OJT や研修において、澄んだ瞳で「そこから先は君自身が自分で考えて発見し成長するんだ」といった話では全然ない。「人がやったことと全く同じことをやって、そこで働く人は何が面白いのか」そんな疑問が出て来る価値観がこの会社には存在しない。むしろ、いままで一部の人にしかできなかった診断という業務を、一定の訓練さえすれば誰でもできるようにしたことを「脆弱性診断の民主化を果たした」とでも考えているふしすらある。実際に 180 名の診断員のほぼ全員が、前職がコンビニの店長だったり、洋菓子職人だったりと、セキュリティの素養がゼロだった人、そもそも興味すらなかった人が少なくない。

　長らく脆弱性診断サービスには「満足度の高い企業ほど満足度が低い」という矛盾があった。つまり、優秀な人材がいて満足度の高いサービスを提供できる企業に依頼すれば、断られるか半年や一年といった長い待ち行列に並ぶ場合がある、ということだ。やっと順番が来てもスター人材が担当してくれるとは限らない。実査を行うのが下請けの場合もあるのは大手ならあたりまえ。

　たとえば人間国宝クラスの寿司職人が握る「すきやばし次郎」を頂点とあおぐような寿司業界に、はじめて回転寿司が現れたときは、一種「異端」の目で見られた。しかし今や、回転寿司とコンビニの恵方巻きは市場の寿司消費量の多くを占めており、寿司の大衆化に大きく貢献した。市場そのものの規模を大きくし、優れた職人や店舗の価値を上げさえした。

　10 年 20 年前、脆弱性診断やペネトレーションテストは、金融や重要インフラや意識の高い一部の企業が行うものだった。しかし、サイバー攻撃とその被害の増加、サイバーセキュリティ経営ガイドラインの公開などでセキュリティ診断サービスの需要がその後大いに増えたが、肝心の業界がまだ対応しきれていない現状がある。

　本誌がこれまで紹介してきたような、CDI の福森氏や MBSD の国分氏をはじめとする「人間国宝」的セキュリティ技術者の価値が今後いっそう高まることはまちがいないだろう。しかし、中村が目指す、全ての顧客に「安定性・網羅性・適正コスト・短納期」を同時に提供するという SHIFT SECURITY のアプローチもまた、市場には必要なものに違いない。