失敗から学ぶ、テスト自動化導入で大切なこと──Cybozu Meetup テスト自動化 開催報告

こんにちは、テストエンジニアリングチームの園です。

先日、『Cybozu Meetup テスト自動化 ~失敗から学ぶ、テスト自動化導入で大切なこと~』を開催しました。

技術的な内容よりも導入手法に重点を置いたお話を予定していたため、参加枠が埋まるか不安でしたが、参加募集開始から予想を裏切り、最終的に参加枠を大きく超える130名の方からお申し込みをいただきました!

テスト自動化がトピックとして扱われるようになって久しいですが、まだまだ注目される話題であり、導入に悩まれている方も多いのだと改めて認識いたしました。

cybozu.connpass.com

本エントリでは、Meetupで話した内容のまとめと、話し足りなかったことを補足させていただこうと思います。

テストエンジニアリングチームのご紹介

このセッションでは、サイボウズのテストエンジニアリングチーム(以下、TE)の紹介と、活動内容の紹介を行いました。

今年でTEができて丸2年となり、徐々に活動の幅を広げつつあります。

関連記事:

blog.cybozu.io

TEでは、テストの自動化のみならず、作業を効率化して生産性が向上するような様々なツールの作成を行っています。

作成したツールの事例として、いくつかを簡単に紹介させていただきました。

モバイル端末のテスト環境構築

OpenSTFを利用して、Webブラウザからモバイル端末にアクセスし操作できる環境です。 よくあるエミュレーターではなく、実機でのテストが可能です。

f:id:cybozuinsideout:20180419144553j:plain

海外拠点から日本拠点のモバイル端末にアクセスしたり、逆に、日本拠点から海外拠点のモバイル端末にアクセスすることができます。

つまり海外拠点にテスト環境を構築すれば「技適問題」も回避できるのです。

手動でアクセスできるだけでなく、自動テストにも対応しています。

継続的性能試験

作成した製品のアーカイブについて、CIを通して性能検証を行う仕組みを作りました。

f:id:cybozuinsideout:20180419144727j:plain

今までの性能試験は、手動と自動の組み合わせて行っていました。

そのため試験環境の作成から、試験実施、試験結果の分析までトータルで約24時間かかっていました。

これらを全て自動化し、約2時間~4時間で試験結果の分析まで完了させることに成功しました。

リリースアーカイブ管理

f:id:cybozuinsideout:20180419144733j:plain

サイボウズ製品がクラウドに移行した頃から、製品リリース(バージョンアップ)が頻繁に行われるようになりました。

製品リリースが頻繁に行われるということは、必要なアーカイブ、リリースタイミングの管理も増えることになります。

増加する管理コストに対し、管理作業を手作業で行っていたため、事故発生のリスクが高まっていました。

管理の煩雑化に伴い、間違ったアーカイブを適用するなどの事故が発生すれば、利用いただいているお客様にご迷惑がかかります。

そこで、kintoneArtifactoryを使い、アーカイブの管理とリリースの管理を関連付けて行えるようにしました。

このツールにより、過去、現在、未来におけるリリースタイミングに合わせた適切なアーカイブのセットを、コマンド一つで取得することができるようになりました。

リリースに伴うアーカイブの管理上のリスクを軽減しています。

失敗から学ぶテスト自動化導入で大切なこと

f:id:cybozuinsideout:20180419182911j:plain

TEが設立された当初、サイボウズでは既に様々なチームがテスト自動化に取り組んでいました。

しかし、活用できているチームもあれば、活用できていないチームもありました。

このセッションでは、そんな「成功」と「失敗」を分析し、自動テストを継続的に利用していくポイントと、そのためにTEが取り組んだ内容を紹介しました。

www.slideshare.net

テスト自動化導入にまつわる、ありきたりな失敗談ですが、誰もがつまづきやすいからこそありきたりなのだと思います。

そこからのテスト自動化導入には「銀の弾丸」はなく、チームの性格や能力に応じて最適な手段は様々です。

サイボウズのTEでは「負荷の分散」と「モチベーションの維持」がテスト自動化導入の重要なポイントであると考えました。

これらの重要ポイントを達成するために行った、「テストを自動化する動機付け」や、テスト作成を省力化するための「テスト共通基盤」作成などの事例を紹介いたしました。

テスト自動化導入失敗の分析結果や、導入のための活動事例が、テスト自動化導入に悩まれている方のヒントや反例としてお役に立てれば幸いです。

テスト自動化導入の失敗談に関しては「あるある」なのか、参加された方々がTwitterにいろいろと書き込んでくださっていました。

盛り上がっていたのでぜひご覧ください!

togetter.com

f:id:cybozuinsideout:20180419182949j:plain

今後もTE関連のMeetupを開催予定

今回多くの方からのご好評をいただいたため、今後もTE関連のMeetupを開催する予定です。

connpassグループ「Cybozu Inside Out」で随時告知していきますので、興味のある方はぜひフォローをしてみてください。

今回ご紹介させていただいたTEの活動の中で、これを聞いてみたい、といったご要望もお待ちしております!

We are Hiring!

TEはキャリア採用を行っています。

キャリア採用 テストエンジニア | サイボウズ 採用情報(新卒・キャリア)

私たちと一緒に、品質と生産性の向上に取り組んでみませんか?