品質保証部の青田です。
色々担当している器用貧乏なのですが、今回は脆弱性報奨金制度の中の人枠で。
サイボウズが提供している脆弱性検証環境についてのエントリです。
サイボウズでは、製品やサービスの脆弱性をご報告いただいた際に報奨金を支払う制度を運用しています。国内ではまだ珍しい制度なので、ここ1年ぐらいで新聞やWebニュースに取り上げていただく機会が結構ありました。そのいずれかを目にされた方もいらっしゃるのではないでしょうか。
「報奨金の支払い」という部分にスポットが当たりやすい制度ですが、実際には他の施策ではカバーしにくい部分への備えとしている、というのが正確なところです。開発や試験のフェイズで対策を立て、運用チームが様々な監視体制を整え、定期的に外部監査を実施する等。それらがかみ合う形で、製品・サービスの品質向上を実現しているのです。
2014年の報奨金制度については、その結果をこちらで紹介しています。参加人数や総報告件数、報奨金総額等をまとめたものです。2015年も報奨金制度は継続しており、いくつかのご報告をいただいている状況です。
さて。cybozu.comのサービスを検証するために「脆弱性検証環境提供プログラム」というものを運用しています。お申し込みいただいた方に、本番環境に限りなく近い、しかし実際のお客様には影響が出ない環境を提供する内容です。本番環境と同じように、検証者毎に個別のサブドメインを付与しています。2014年2月に検証環境の提供を始めてから100件少々を提供しています。
検証環境の使われ方にはばらつきがあります。少し触って終了する方も少なくないですし、毎月コンスタントにアクセスされている方もいます。
定期的にアクセスログを集計して利用状況を確認しているのですが、先月（2015年2月）はこんな感じでした。26人の方が検証環境にアクセスしていました。 
上位は5桁、下位はログインしただけっぽいリクエスト数です。検証対象のサービスも、均等だったりどれかに偏っていたりで、全体としての傾向は無さそうです。全ドメインの合計ではMailWiseに対するリクエストが少ないのですが、これはサービスが提供している機能セットが少ない（メールに特化している）ためだと思います。
検証環境におけるリクエスト数と報告数は必ずしも比例しないっぽいところが興味深いですね。一部のバグハンターの、知見の深さが現れている感じでしょうか。
こちらは2015年1月の利用状況です。2月よりもリクエストが少なく、利用されたドメインも22でした。
実際、月当たりどれぐらいのリクエスト数、あるいはアクティブなドメイン数があるのが妥当なのかは、よくわからない部分です。2014年の実績では数十万リクエストが飛んできた月もありますし、それより1桁少ない月もありました。1ヶ月で73万リクエストを記録した方がいたのですが、さすがに手動ではなく、脆弱性検証ツールを利用した数字でした。アクティブなドメイン数は昨年8月の50強が最大で、これはバグハンター合宿の影響が大きかったと思います。だいたい20から30を越えるぐらいですね。
いずれも今後の推移が気になるところです。
余談ですが、１月も２月も利用者に社員が混ざっています。(規約上、社員は報奨金制度を利用することはできません)
これは再現確認を実施しているのです。報告者が記述してくれた手順に沿って、同等の環境で検証をし、再現したらCVSS v2の基準に沿って深刻度を評価する、という作業手順となっています。
とりとめもない感じですが、今まであまり紹介してこなかった脆弱性検証環境についてのエントリでした。次の機会があれば、別の観点から制度のこぼれ話を披露しようと思います。
脆弱性情報をお寄せいただいた方、検証環境をご利用いただいている方々には、この場を借りてお礼申し上げます。
今後ともよろしくお願いいたします。
