RでA/Bテスト:平均値の比較

# 期待する効果（平均単価の差）を検出するために、どれくらいのサンプル（購入者）が
# 必要か計算します。

# パラメータ設定
power <- 0.80 # 検出力
sig_level <- 0.05 # 有意水準
mu_A <- 5000 # Aグループのベースライン平均購入単価
mu_B <- 5500 # Bグループの期待する平均購入単価
delta <- mu_B - mu_A # 期待する差
sd <- 1500 # 両グループの標準偏差（共通と仮定）

# サンプルサイズの計算 (2標本t検定)
# H1: μ_A < μ_B を検証したいため、alternative = "one.sided"
power_test_result <- power.t.test(
  delta = delta,
  sd = sd,
  power = power,
  sig.level = sig_level,
  type = "two.sample",
  alternative = "one.sided"
)

# 計算結果の表示
print(power_test_result)

# 各グループに必要なサンプルサイズ（購入者数）を抽出
sample_size_per_group <- ceiling(power_test_result$n)
cat(paste("\n各グループに必要なサンプルサイズ（購入者数）:", sample_size_per_group, "人\n"))
cat("注意: これはサイト訪問者数ではなく、実際に購入したユーザーの数です。\n")

# 上記で計算したサンプルサイズに基づき、架空の購入金額データを生成します。
# データは正規分布に従うと仮定します。

seed <- 20250610
set.seed(seed)

# シミュレーションのパラメータ
n_A <- sample_size_per_group # Aグループの購入者数
n_B <- sample_size_per_group # Bグループの購入者数

# 「真の」パラメータ (シナリオ通りに設定)
true_mean_A <- 5000
true_mean_B <- 5500
true_sd <- 1500

# 正規分布に従う乱数を生成して、各購入者の購入金額をシミュレート
# rnorm(n, mean, sd)
data_A <- rnorm(n_A, mean = true_mean_A, sd = true_sd)
data_B <- rnorm(n_B, mean = true_mean_B, sd = true_sd)

# 生成されたデータの一部を確認（購入金額なので小数点以下は切り捨てて表示）
cat("\nAグループの購入単価データ（最初の10件）:", floor(data_A[1:10]), "\n")
cat("Bグループの購入単価データ（最初の10件）:", floor(data_B[1:10]), "\n")

# 生成したデータを使って、実際に平均単価を計算し、統計的な差があるかt検定で検証します。

# 各グループの観測された平均値と標準偏差を計算
observed_mean_A <- mean(data_A)
observed_mean_B <- mean(data_B)
observed_sd_A <- sd(data_A)
observed_sd_B <- sd(data_B)

cat("\n--- テスト結果の集計 ---\n")
cat(paste("Aグループ: 購入者数", n_A, "人, 平均単価", round(observed_mean_A), "円, 標準偏差", round(observed_sd_A), "円\n"))
cat(paste("Bグループ: 購入者数", n_B, "人, 平均単価", round(observed_mean_B), "円, 標準偏差", round(observed_sd_B), "円\n"))

# 2標本t検定 (Welch's t-test)
# Bグループの平均がAグループより大きいか検証したいので alternative = "greater" を指定
# t.test(y, x) の形式で、y > x を検証します。
test_result <- t.test(
  data_B,
  data_A,
  alternative = "greater",
  conf.level = 0.95
)

# 検定結果の表示
cat("\n--- 統計的検定の結果 (Welch's t-test) ---\n")
print(test_result)

# p値を取得
p_value <- test_result$p.value

cat("\n--- 結論 ---\n")
cat(paste("p値:", round(p_value, 4), "\n"))
cat(paste("有意水準:", sig_level, "\n\n"))

if (p_value < sig_level) {
  cat("結論: p値が有意水準 (0.05) よりも小さいため、帰無仮説を棄却します。\n")
  cat("新しいキャッチコピーBは、既存のコピーAに比べて平均購入単価を統計的に有意に向上させると言えます。\n")
  cat("ビジネス判断: 新しいキャッチコピーを採用することを推奨します。\n")
} else {
  cat("結論: p値が有意水準 (0.05) よりも大きいため、帰無仮説を棄却できません。\n")
  cat("新しいキャッチコピーBが平均購入単価を向上させるという統計的に有意な証拠は得られませんでした。\n")
  cat("ビジネス判断: 現状では、新しいキャッチコピーへの変更は見送るべきです。\n")
}