組み合わせテスト_エンジニア勉強会20130910
- 3. 因子と水準 ● 因子 – 会員種別 – ログインの有無 – ブラウザ端末 – … ● 水準 – 非会員、仮会員、本会員 – ログインしている、ログインしていない – ＰＣ、ガラケー、タブレット – ・・・
- 4. ２因子間網羅 ● 複数の因子の組み合わせをすべてテストするとな ると、組み合わせの数が膨大になる – 会員種別(3)×ログインの有無(2)×ブラウザ端末(3)×・・・ ● 2つの因子の組み合わせをすべて網羅する – 多くのバグは２因子間で見つかるという定説 ● 全バグ数に対する割合 ※とある研究結果 ● １因子 → ３０～６０％ ● ２因子 → ７０～９５％ ● ３因子 → ９０～９９％
- 6. 直交表 ● どの列を取っても、同じ組合せ が同じ数だけある表 ● A1の条件であれ ば、B1,B2,B3が３回ず つ、C1,C2,C3が３回ずつ・・・ 含まれる。したがって、A1,A2 の平均を比較すれば、A以外 の因子の影響は平均化される ので、Aに関しては他の因子の 影響がない公平な比較という ことになる。 http://www.hinkai.com/qe/tyokou.html
- 7. オールペア（ペアワイズ）法 ● 2因子間網羅を満たす最少の組み合わせをアルゴ リズムで導き出す – 直交表よりも組み合わせ数は少ない（必要なテストは因 子数に対して対数的にしか増えない） – 3因子間以上の網羅率は低い ● 禁則回避を設定できる ● ツールが利用できる
- 8. 組み合わせテストを 実施するまでの流れ ● 各担当者間でテスト対象とテストの目的に関する 認識を合わせる – テストで何を確認したいかによって、選択する因子や水 準は変わる ● テスト対象の因子とおおよその水準を洗い出す ● 組み合わせ数を削減するかを検討する ● 組み合わせる因子・水準を選ぶ – 仕様書にあるすべての水準を組み合わせたいしょうに するのではなく、テストの目的にあった水準だけを組み 合わせ対象にするよう心がける ● 使用する手法を決定する – 直交表、オールペアか
- 9. 組み合わせ表を作成する際の注意点 ● 禁則を回避する – 現在では、指定された禁則関係を自動的に回避して最 小限の組み合わせ表を作成するツールがある ● 重要な組み合わせを追加する – 組み合わせ表の中に、３因子間以上をまたぐ重要な組 み合わせが含まれているとは限らない ● 無理して組み合わせテストを行わない – テストの期待結果を確認できない、確認しにくい場合 – 禁則が多すぎる場合