サイボウズ ガルーン 3.7.0 PSQ認証を取得という話

品質保証部の明尾です。

サイボウズ ガルーン 3.7.0パッケージソフトウェア品質認証(PSQ)を取得しました。

そこで、PSQについての簡単な解説と、取得に至るまでの話を。

PSQ は、一般社団法人コンピュータソフトウェア協会(以下CSAJ)が制定したソフトウェアの品質認証制度です。CSAJ は、弊社も会員となっている団体です。

PSQ ってどんな制度?

ソフトウェアの品質要求及び評価に関する国際規格「ISO/IEC 25051」に基づいて、製品のカタログやマニュアルが作成され、 ソフトウェアのテストが実施されているかを第三者が検証する制度です。

PSQ の制度設計は、ソフトウェア高信頼化センター(IPA/SEC)が公開している「ソフトウェア品質説明のための制度ガイドライン」 に準拠していて、評価自体は認証機関とは独立した独立評価機関が実施する制度とすることで公平性を保つ仕組みとなっています。

 参考: CSAJ が パッケージソフト品質認証制度を開始、IPA/SEC のガイドラインを基に制度設計(写真2が仕組みです)

国際規格「ISO/IEC 25051」の中身ですが、以下の3点が評価対象です。

  • 製品説明 -- いわゆるカタログとか、製品を説明する Web サイトとかです。
  • 利用者用文書 -- いわゆるマニュアルとか、製品内のヘルプなどです。
  • 試験文書 -- テストしたことを証明するテスト計画とか結果報告書とかです。

私たちのような品質保証部が実施するソフトウェアテスト部分だけではなく、Web サイトやカタログ、マニュアルやヘルプの内容まで 検査が入り、その内容が国際規格に合致していることが検証されています。 ガルーンのカタログ、マニュアルを作成された方々、お疲れ様です!この場をお借りしてお礼を。国際基準に合致しています!

それぞれについて、評価基準が定められており、

製品説明であれば

  • 購入予定者に十分な品質を備えていることが明確に伝わること
  • サポートや保守に関する記述があること
  • 製品のバージョンの記載や、カタログ自体の版管理ができていること

利用者用文書であれば

  • 製品説明に記載のある機能はすべて記載があること
  • あいまいな表現がないこと
  • 利用者用文書内での矛盾がないこと

試験文書であれば

  • 製品説明や、利用者用文書に記載されている内容や要求事項がすべてテストされていることを実証できること
  • 不具合報告に必要な事項が記載されていること
  • 試験手順に実行手順や結果の記載があること

などが基準となっています。もちろんもっと評価基準があり、より詳細な評価基準は「パッケージソフトウェア品質認証制度申請者ガイドブック」をご覧ください。

あえて、ざっくり「認証された」ということを一言でまとめると、

「カタログに記載されている内容は、マニュアルにちゃんと載っていて簡単に使え、テストもされているのでちゃんと動きます」

そんなことが、第三者の検証によって証明されました、そんな感じです。

認証の取得までの流れ

まずは、事前申請

こちらから事前認証申請書をダウンロードして、必要事項を記入!

  • 法人を証明する書類の写しは、法人登記簿のコピーを用意
  • カタログやマニュアル -> PDF があれば、PDF をそのまま送れば OK。
  • 機能と品質特性の対応表 こちらの機能・品質特性対応表をダウンロード

事前申請の段階では、マニュアルの目次などを参考に機能一覧を作るイメージで項目を埋め、マニュアルなどのページを記載してください。売りにしている機能、カタログに載っている機能などに重要機能として '○' を付けましょう。この段階でめまいがするようでは、認証を受けるのは断念してくださいw さらに本申請では試験文書との対応付けが待っています!ここがクライマックス!

次に、本申請

事前申請をすると、CSAJ が価格を見積もって請求書を送ってきます。 チャレンジする!と決まったら、手数料を支払ってください。 機能数により価格が変動しますが、50万円~100万円が認証手数料としてかかってきます。

払ったらもう戻ってこないので、慎重に。

本申請に必要な書類は

  • 認証申請書
  • 秘密保持契約書
  • 法人を証明する書類

秘密保持契約書は、申請書類ダウンロードにあります。 認証申請書は、事前認証申請書とほぼ同じ内容を記載すれば OK です。

キックオフミーティング

本申請すると、評価機関が決まってキックオフミーティングが設定されます。 キックオフミーティングでは、認証までの流れの説明や、今後のスケジュール、提出すべき書類の説明がされます。 また、今後行われる現地調査の日程調整なども行います。

提出すべき書類の記載

評価項目明細(製品説明、利用者用文書、試験文書)

こちらの様式5に記入をしていきます。 各文書の評価基準が書かれているので、それに適合していることを根拠を示して記入することとなります。

こちらで記載した例では

  • 1.3.1 製品説明の可用性
    1. 購入予定者や利用予定者が必要なときに入手・参照できること。

という基準があり、

Webサイトから資料請求可能 http://products.cybozu.co.jp/garoon/

のような記載をしていきます。この書類を作成するのにガルーンの規模で 1日程度の作業となりました。

■ 機能と品質特性の対応表

こちらの様式4に記入をしていきます。実際の機能と、試験仕様書とを対比する表を作成するのですが、とても大変です。ここが山場です。

サイボウズの場合は、試験仕様書が Subversion で管理されており、各バージョンでの試験結果が1つのフォルダに格納されていたので 比較的に楽に作業ができました。また、回帰テスト として定義している 試験仕様書があり、重要な機能は回帰テストの中に包含されているので、多くの機能を回避テストと対比できたので工数的には助かりました。それでも、対応表の作成には3日ぐらいの時間を要することになりました。ガルーンのテスト管理お疲れ様です!ガルーン全文検索が大活躍!

ドッキドキの現地調査

申請文書完璧!絶対大丈夫!と思いつつも、やはり何を突っ込まれるのだろうと、不安になる。そんな現地調査です。どのような調査をするかというと、評価項目明細で不明瞭な箇所があれば説明を要求され、対応表の試験文書をいくつかピックアップして 実際に内容を確認する。実際の試験文書を確認していく。そんな感じで進行します。

結構緊張していたので、何を説明していたのかあまり覚えてないのですが、当日のレビューポイントを。

  • 不具合管理で登録している内容

    バージョンの記載はあるか?手順は書かれているか?ステータスはあるか?など 実際の不具合管理の画面を開き確認していただきました

  • 試験手順が詳細に書かれているか

    実際の試験仕様書をその場で確認していただきました

  • 試験結果報告書

    試験全般でどのような試験をしているか確認いただきました

  • 文書テスト

    文書テストの結果をどのように管理しているか確認いただきました

数々の質問をいただき、その場でなんとか返答をしていたのですが、うまく思い出せません。結構、細かい部分まで確認が入り厳しかったです。ちなみに、評価担当の方は紳士的な方でした。半沢融資課長が受けた裁量臨店のような雰囲気ではありませんw

結果報告

後日、以下のメールを CSAJ からいただきました。


平素お世話になります。CSAJ-PSQ 認証室です。PSQ 判定委員会での認証判定が終了しました。 御社より申請のあった製品について、 以下の通りを報告いたします。

●【PSQ-BQ2013001】判定結果

【適合】
【認証製品名:サイボウズ ガルーン】
【認証バージョン:3.7.0】
【認証番号:PSQ-Q2013001】
【認証日:2013年8月27日】

【有効期間:2018年8月26日】


無事、取得できてほっとしました。

PSQ取得の効果

まだまだ無名な認証制度なので、これで売上があがるということはないかと思います。ただ、国際規格を理解し、社内のプロセスなどを見直し認証を受けることで、よりよい製品を作れる体制を築いていくきっかけになるよう認証制度を利用していただければいいかと思います。そういう意味では、認証を受けなくてもガイドブックを 見ていただいて社内で作成されている文書を再点検するということでも十分かと思います。 (こんなことを書くと CSAJ さんに怒られるかも知れませんが。。)

今後、PSQ 認証を取得していればお客様が安心して利用できるという環境を作るには、 認証を受けた企業の品質に関する継続的な努力と、CSAJ の認知活動にかかっていると思います。PSQ 担当の方、今回認証を受けた企業の品質担当の皆様にエールを送りたいと思います。

認証を受けましたが、あくまでガルーンのテストやマニュアル、カタログが国際規格には適合しているというだけの話で (もうちょっと言ってしまうと、カタログに書いてあることは、ちゃんと動くという、工業製品とかだったら当たり前なことを 認証いただいたに過ぎないです)ガルーンの品質が高いかどうかの判断は、あくまでもお客様が個別に判断されるものだと思います。 これからもお客様に満足いただける製品を提供できるよう改善を続けていきたいと思います。

PSQ制度設計

2010年に CSAJ がソフトウェアの品質認証制度を作ろうということで、私も参加をさせていただいており、ISO規格の勉強やガイドブックの執筆・レビューなどを担当させていただきました。制度の概要や基準は十分理解をしていましたが、実際に 自社製品で認証を受け、現地調査を受けるとなると緊張しましたねw

今後は、クラウド製品への対応も検討していくということなので、今後も協力させていただきたいと思います。 制度設計に携わった方々へ、長期に渡り大変お疲れ様でした。今後ともよろしくお願いいたします。

今後、この制度が利用されお客様も認証を受けた製品を安心して購入できる環境となると、うれしく思います。