オンラインゲームと社内テスト
•
93 likes•37,573 views
（株）Aimingの社内勉強会で使われたスライドです。開発中のタイトルの画像は削除してあります。ご了承ください。
オンラインゲームと社内テスト
- 11. 様々なテストのかたち 社内テスト事例 なぜ社内テストをやるか 本日のメニュー Chapter 1 Chapter 2 Chapter 3 テストの障害と対策Chapter 4 テスト前のチェックシートChapter 5
- 13. 開発行程とテスト Prototype Alpha Beta CBT ver. OBT ver. フォーカステスト 負荷テスト 自動テスト 実装確認 自動テスト データロギング デバッグのためのテスト 互換性 互換性 レベルバランスのテスト 負荷テスト
- 15. フォーカステスト ✓ テスト目的：ゲームの特定のパートが狙いどおりに実 装できているか確認 ✓ プレイヤー：一般ユーザー、社内の別チームの人など ✓ テスト方法：１部屋で数人のプレイヤーに遊んでもら い観察（撮影）する ✓ 必要な結果：プレイヤーが示す反応、受けた印象、コ メントなど
- 17. レベルバランスのテスト ✓ テスト目的：特定のレベルの難易度が想定どおりかど うか／前回の問題点が反映されているか ✓ プレイヤー：社内のテスター、レベルデザイナー ✓ テスト方法：デザイン側のスコープに合った環境を作 り、テスターにプレイしてもらい観察する ✓ 必要な結果：想定した難易度に収まっているか。想定 した動線や遊び方でプレイされるか。逆に想定外の不 適切なプレイをされないかどうか。
- 19. データロギングのテスト ✓ テスト目的：プレイヤーの行動ログを記録しそこから 統計的な偏りを探る ✓ プレイヤー：社内のテスター ✓ テスト方法：ログの記録を行いながらフリープレイ ✓ 必要な結果：できるだけ多数のプレイヤーの行動の傾 向、統計的なデータ
- 20. 負荷テスト4 オンラインゲームで、サーバ／クライアントプ ログラムの性能を見るためのテスト 同時接続し、ゲームの進行が円滑か確認 機能別の各サーバに負荷をかける 小規模→大規模に段階的に行う場合が多い
- 21. 負荷テスト ✓ テスト目的：サーバ／クライアントプログラムの性能 を確認、ボトルネックを探す ✓ プレイヤー：社内・デバッグ会社のテスター、全社員 ✓ テスト方法：多くのテスターが同時接続し、同時に同 じ行動をして発生する負荷を検証 ✓ 必要な結果：同時接続時のサーバログ、CPU負荷、ク ライアントのフレームレートなど
- 23. BOTによる自動テスト ✓ テスト目的：通常プレイでは時間のかかるプレイを自 動化しログを取り、バランスの参考にする ✓ プレイヤー：BOTプログラム ✓ テスト方法：BOT操作によるプレイヤーキャラを生成 し、24時間無休で自動プレイさせる ✓ 必要な結果：BOTキャラクターのプレイ難易度、プレ イ時間など
- 24. 実装確認6 実装完了となったシステムやゲームのデータ、 アートのアセットなどをチェック 仕様書やリソースのリストを参照 「すべてのスキルの組み合わせをすべてのキャ ラで」といった、総当たり式のテストも
- 25. 実装確認 ✓ テスト目的：プログラムやデータが正しく実装されて いるか確認 ✓ プレイヤー：社内・デバッグ会社のテスター ✓ テスト方法：仕様書やテーブル、アセットのリストな どに基づいて正常に機能するか確認 ✓ 必要な結果：チェック項目のリストと各項目に対する テスト結果
- 27. デバッグのためのテスト ✓ テスト目的：ゲームの不具合を発見て修正を依頼し、 ゲームの商品としての完成度を高める ✓ プレイヤー：社内・デバッグ会社のテスター ✓ テスト方法：ゲームをフリープレイ、怪しい部分を重 点的にプレイ ✓ 必要な結果：不具合の再現条件や原因を報告するチケ ット
- 29. 機種互換のテスト ✓ テスト目的：保証スペックを満たす端末で正常にプレ イできるかどうかを確認 ✓ プレイヤー：社内＆デバッグ会社のテスター ✓ テスト方法：できるだけ多くの端末（特に人気端末） にインストールしプレイする ✓ 必要な結果：各端末毎の動作確認結果のリスト
- 30. 開発行程とテスト Prototype Alpha Beta CBT ver. OBT ver. フォーカステスト 負荷テスト 自動テスト 実装確認 自動テスト データロギング デバッグのためのテスト 互換性 互換性 レベルバランスのテスト 負荷テスト
- 36. Nのマイルストーン Prototype Prototype2 Alpha Beta1 Beta2 テスト１ テスト２ テスト３ テスト４ テスト５ アンケート１ アンケート２ アンケート３ アンケート４ Alpha2
- 37. テストの目的 Prototype Alpha Beta CBT ver. OBT ver. フォーカステスト 負荷テスト 自動テスト 実装確認 自動テスト データロギング デバッグのためのテスト 互換性 互換性 レベルバランスのテスト 負荷テスト 互換性
- 39. プロトタイプ版 ✓ 個別に１人ずつ呼んでテスト ✓ ゲームデザイナ（水島１人）がプレイをじっと見る ✓ テスターは全部で１０人くらい（企画の人中心） ✓ プレイ後、各テスターにインタビュー ✓ アンケートは無し テスト方法 フォーカステスト
- 41. プロトタイプ２版 ✓ 個別に３人ずつ呼んでソロ＆マルチテスト ✓ ゲームデザイナがじっと見る （東京20人＋大阪21人） ✓ テスターは運営のスタッフを中心に選出して依頼 ✓ 各テスターにインタビュー＆アンケートもらう テスト方法 フォーカステスト
- 43. プロトタイプ２版 スコア 項目 とてもよい よい ふつう いまひとつ よくない 第一印象 14% 62% 19% 5% 0% ゲームデザイン 5% 38% 40% 14% 0% ビジュアル／演 出／世界観 12% 38% 33% 17% 0% 操作性／UI 5% 29% 29% 38% 0% レベルデザイン 7% 21% 57% 12% 2% コンセプト／新 規性／将来性 17% 43% 33% 7% 0% ※４１人が回答
- 45. アルファ版 ✓ 個別に３人ずつ呼んでソロ＆マルチテスト ✓ ゲームデザイナがじっと見る（１７人） ✓ テスターを選出して依頼 ✓ 各テスターにインタビュー＆アンケートもらう ✓ アンケート項目を最小限に絞り固定化 テスト方法 フォーカステスト
- 46. アルファ版 スコア 項目 とてもよい よい ふつう いまひとつ よくない スキル 0% 65% 18% 12% 6% UI／操作性 0%(5%) 29%(29%) 29%(29%) 41%(38%) 0%(0%) レベルデザ イン 18%(7%) 0%(21%) 47%(57%) 24%(12%) 12%(2%) コンセプト ／将来性 6%(17%) 65%(43%) 18%(33%) 12%(7%) 0%(0%) ※１７人が回答。 ()内は前回の結果
- 48. ベータ１版 ✓ 個別に１０人ずつ呼んでソロ＆マルチテスト ✓ ゲームデザイナ（３人）がじっと見る ✓ 各テスターは東京スタジオで公募（35人くらい） ✓ アンケートもらう（東京スタジオ27人） ✓ アンケートに端末機種と不具合報告を追加 テスト方法 フォーカステスト 互換性
- 49. ベータ１版 スコア 項目 とてもよい よい ふつう いまひとつ よくない スキル 4% (0%) 74% (65%) 15% (18%) 7% (12%) 0% (6%) UI／操作性 7% (0%) 22% (29%) 33% (29%) 26% (41%) 11% (0%) レベルデザ イン 4% (18%) 30% (0%) 52% (47%) 15% (24%) 0% (12%) コンセプト ／将来性 37% (6%) 41% (65%) 15% (18%) 7% (12%) 0% (0%) ※２７人が回答。()内は前回の結果
- 51. ベータ２版 ✓ はじめての全社テスト ✓ 参加希望者が同じタイミングで一斉にテスト （東京＋大阪で全部で６０人くらい） ✓ 同時プレイの負荷テスト ✓ 不具合端末などの報告を受付 ✓ 各テスターからアンケートもらう テスト方法 フォーカステスト 互換性 負荷テスト
- 52. ベータ２版 スコア 項目 とてもよい よい ふつう いまひとつ よくない スキル 6% (4%) 33% (74%) 21% (15%) 30% (7%) 9% (0%) UI／操作性 0% (7%) 9% (22%) 27% (33%) 48% (26%) 15% (11%) レベルデザ イン 9% (4%) 15% (30%) 42% (52%) 24% (15%) 9% (0%) コンセプト ／将来性 15% (37%) 36% (41%) 27% (15%) 18% (7%) 3% (0%) ※３３人が回答。()内は前回の結果
- 62. 4.1 開発チーム側の 問題
- 66. 4.2 開発∼運営の 距離感
- 67. 企画／運営の切り分け ソーシャル／スマホネイティブの傾向 イベント中心のゲームが主流 開発と運営とプロモーションは一体 「開発チームが作ったものを運営に渡してサー ビスしてもらう」みたいな発想は捨てる
- 70. チェックリスト ✓ ゲームの最終形はどういう形？ ✓ 今回のマイルストーンは何が目標？ ✓ どんな目的のテスト？（複数） ✓ どういう規模で誰を対象に行う？
- 72. まとめ