こんにちは！サイボウズOfficeという製品でQAをしている水谷(@dog_dog_3dog)です。
社内で「LLMアプリの品質保証 ～LLMの特性から全体像まで～」というテーマで勉強会を主催しました。 この記事では、勉強会の内容と開催の背景を簡単に紹介します。
資料の内容
資料では、ざっくり以下のような流れで話をしています。
COMPASからのケーススタディ
まずAIの品質問題の実例を見て、なぜAI独自の品質保証が必要となる背景をさらっています。LLMアプリ独自の品質特性
生成AI品質マネジメントガイドラインをもとに、機能要求満足性・信頼性・安全性・公平性など10の品質特性を見ています。リスク分析
品質特性をどうやってテスト戦略に落とし込むか、一つのやり方としてリスク分析を紹介しています。LLMアプリ全体の品質保証
LLMアプリはLLMの部分と従来通りのシステムで出来上がっています。LLMアプリの品質保証というとLLMに注目されがちですが、これまで通りのテストも変わらず重要だよね、という話をしています。
開催の背景
私がLLMアプリの品質保証に取り組み始めた頃、全体像を俯瞰できる資料が少なく、テストの枠組みを考えるのに苦労しました。 そこで、今後社内で別のLLMアプリが開発される時に全体感を掴むための一つのきっかけになればと思い、勉強会を実施しました。
なお、この勉強会は、産業技術総合研究所（産総研）が主催する「AI品質マネジメント講座」に参加させていただいたことに影響を受けて企画したものです。 講座で多くのことを学ばせていただきました。産総研と講師の皆さまには大変お世話になりました。
おわりに
自分自身もまだまだ試行錯誤の途中ですが、この資料がこれからLLMアプリの品質保証を考える方のとっかかりになれば嬉しいです。
