RでA/Bテスト:比率の差の検定

# 期待する効果を検出するために、どれくらいのユーザー数が必要か計算します。

# パラメータ設定
power <- 0.80 # 検出力
sig_level <- 0.05 # 有意水準
p1 <- 0.05 # AグループのベースラインCVR
p2 <- 0.07 # Bグループの期待するCVR

# サンプルサイズの計算 (片側検定)
# H1: p1 < p2 を検証したいため、alternative = "one.sided"
power_test_result <- power.prop.test(
  p1 = p1,
  p2 = p2,
  power = power,
  sig.level = sig_level,
  alternative = "one.sided"
)

# 計算結果の表示
print(power_test_result)

# 各グループに必要なサンプルサイズを抽出
sample_size_per_group <- ceiling(power_test_result$n)
cat(paste("\n各グループに必要なサンプルサイズ:", sample_size_per_group, "人\n"))

# 上記で計算したサンプルサイズに基づき、架空のテスト結果を生成します。
# 実際には、このデータはテスト期間中に収集されます。

seed <- 20250610
set.seed(seed)

# シミュレーションのパラメータ
n_A <- sample_size_per_group # Aグループのユーザー数
n_B <- sample_size_per_group # Bグループのユーザー数

# 「真の」CVR (シナリオ通りに設定)
true_cvr_A <- 0.05
true_cvr_B <- 0.07

# 二項分布に従う乱数を生成して、各ユーザーの購入(1) or 非購入(0)をシミュレート
# rbinom(n, size, prob)
# n: 生成する乱数の数 (今回はユーザー数)
# size: 1回の試行数 (1ユーザーあたり1回なので1)
# prob: 成功確率 (CVR)
data_A <- rbinom(n_A, 1, true_cvr_A)
data_B <- rbinom(n_B, 1, true_cvr_B)

# 生成されたデータの一部を確認
cat("\nAグループのデータ（最初の10件）:", data_A[1:10], "\n")
cat("Bグループのデータ（最初の10件）:", data_B[1:10], "\n")

# 生成したデータを使って、実際にCVRを計算し、統計的な差があるか検定します。

# 各グループのコンバージョン数（購入者数）を計算
conversions_A <- sum(data_A)
conversions_B <- sum(data_B)

# 各グループの観測されたCVRを計算
observed_cvr_A <- conversions_A / n_A
observed_cvr_B <- conversions_B / n_B

cat("\n--- テスト結果の集計 ---\n")
cat(paste("Aグループ: ユーザー数", n_A, "人, 購入者数", conversions_A, "人, 観測CVR:", round(observed_cvr_A, 4), "\n"))
cat(paste("Bグループ: ユーザー数", n_B, "人, 購入者数", conversions_B, "人, 観測CVR:", round(observed_cvr_B, 4), "\n"))

# 比率の差の検定 (prop.test)
# Bグループの方がCVRが高いことを検証したいので、alternative = "greater" を指定
# これは「(Aの比率 - Bの比率) < 0」と同じ意味です
test_result <- prop.test(
  x = c(conversions_A, conversions_B), # 各グループの成功数（購入者数）
  n = c(n_A, n_B), # 各グループの試行回数（ユーザー数）
  alternative = "less", # p1 < p2 を検定
  conf.level = 0.95
)

# 検定結果の表示
cat("\n--- 統計的検定の結果 ---\n")
print(test_result)

# p値を取得
p_value <- test_result$p.value

cat("\n--- 結論 ---\n")
cat(paste("p値:", round(p_value, 4), "\n"))
cat(paste("有意水準:", sig_level, "\n\n"))

if (p_value < sig_level) {
  cat("結論: p値が有意水準 (0.05) よりも小さいため、帰無仮説を棄却します。\n")
  cat("新しいキャッチコピーBは、既存のコピーAに比べて購入率を統計的に有意に向上させると言えます。\n")
  cat("ビジネス判断: 新しいキャッチコピーを採用することを推奨します。\n")
} else {
  cat("結論: p値が有意水準 (0.05) よりも大きいため、帰無仮説を棄却できません。\n")
  cat("新しいキャッチコピーBが購入率を向上させるという統計的に有意な証拠は得られませんでした。\n")
  cat("ビジネス判断: 現状では、新しいキャッチコピーへの変更は見送るべきです。\n")
}