複数因子の組み合わせテストケースを簡単に効率よく導出する（ペアワイズ法）

ソフトウェア品質を保証する上でテストは非常に重要な役割を果たします。
テストに工数を使えば使った分だけ効果を期待できますが、テストにかける工数を無限に大きくすることは出来ず、いかに効率良くテストを実施するかが課題になります。
テスト技術者はこれまで「少ないテスト工数で多くの欠陥を効率よく検出する」を考えてきました。

複数の因子が絡み合うテストの場合、テストケースの数が爆発的に増加します。
今回ご紹介する「ペアワイズ法」は効率的にテストケース数の削減に寄与してくれます。

ペアワイズ法とは

ペアワイズ法とは、２因子間の値の組み合わせを網羅するテストケースを効率よく作成する技法です。
「オールペア法」と呼ばれることもあります。

２因子間の値の組み合わせに注目した理由として、ソフトウェアの不具合の多くが２つまたはそれ以上の因子の組み合わせにおいて発生していると考えられているためです。
ペアワイズ法は「２因子間の値の組み合わせ”だけ”はすべて網羅する」ことで、テストケース数を絞り込みます。

組み合わせ数の爆発

例えば、テストする対象のソフトウェアが稼働する環境として、以下の３つの因子を考えてみます。
・OS
・ブラウザ
・Java

それぞれの因子が取る水準を以下とします。
・OS (Windows, Linux, MacOSX)
・ブラウザ (Firefox, Chrome)
・Java (バージョン8, バージョン11)

単純に計算すると、これらの組み合わせは
3 × 2 × 2 = 12
となり、テストケース数は１２になります。

１２ケースくらいだったら頑張れば実施可能かもしれません。
しかし、因子に水準が１つ増える毎にテストケースの数はどんどん増加していきます。
すべての因子の水準が３つだった場合は
3 × 3 × 3 = 27
すべての因子の水準が４つだった場合は
4 × 4 × 4 = 64
となります。現実的にテストの実施が困難になってきます。

２因子間網羅に注力し、テストケース数を削減

そのまま力技でテストを実施する場合、上記のテストケース数１２の組み合わせのすべての環境においてテストが必要です。

しかし、「ソフトウェアの不具合の多くが２つ以上の因子の組み合わせにおいて発生している」という前提を置いて、まず「２因子間のみは網羅する」としたらどうでしょうか？
２因子の対は以下のようになります。

OSとブラウザ
ブラウザとJava
JavaとOS

上記の２因子間の組み合わせにおいて全網羅が出来ていれば良いと割り切って、３因子の組み合わせまでの全網羅は考えないことにします。

ペアワイズ法でテストケース数を削減

ペアワイズ法でテストケース数を削減する例を見てみましょう。

組み合わせに使用する例題を以下とします。
・OS (Windows, Linux, MacOSX)
・ブラウザ (Firefox, Chrome)
・Java (バージョン8, バージョン11)

PICTというツールで作成したテストケースの例を以下に示します。
（PICTについては別の機会にご説明します）

ペアワイズ法で作成されたテストケース数は６個になっています。

最初に「OSとブラウザ」の組み合わせを見てみましょう
3水準 × 2水準の組み合わせなので

Windows - Firefox
Windows - Chrome
Linux - Firefox
Linux - Chrome
MacOSX - Firefox
MacOSX - Chrome

のすべての組み合わせがテストケースに含まれています。

次に「ブラウザとJava」の組み合わせを見てみましょう。
2水準 × 2水準の組み合わせなので

Firefox - java8
Firefox - java11
Chrome - java8
Chrome - java11

のすべての組み合わせがテストケースに含まれています。
ただし、全体のテストケース数が６個なので、上記の組み合わせのうち２つは重複してテストケースに現れています。

次に「OSとJava」の組み合わせを見てみましょう。
3水準 × 2水準の組み合わせなので

Windows - java8
Windows - java11
Linux - java8
Linux - java11
MacOSX - java8
MacOSX - java11

のすべての組み合わせがテストケースに含まれています。

つまり、全テストケース１２個のうち、半分の６個のテストケースが削除された形になっています。
（以下の表の灰色に着色した部分が削除されたテストケース）

まとめ

ペアワイズ法を用いることで、爆発的に増大してしまう組み合わせテストケース数を削減できることがわかりました。
もちろん３因子以上の組み合わせで”のみ”発生する不具合もあるとは思いますが、２因子間の組み合わせにてテストを十分に実施することで、３因子以上の組み合わせテストが必要なケースはかなり絞り込まれると思います。

今後、本ブログで紹介したPICTの詳細や、その他のテストケース作成技法（直交表など）も紹介していきたいと思います。

テストに活用していただければ幸いです。