Rで機械学習:決定木

# 再現性のための乱数シード設定
seed <- 20250810
set.seed(seed)

# データ生成 (SVMの時とほぼ同じだが、少し重なりを大きくする)
# フジリンゴとオウシュウナシの糖度・硬度データを生成します。
# 今回は、2つのクラスの分布に少し重なりがあるデータを使用します。
n <- 70 # 各クラスのデータ数
# フジリンゴのデータ
fuji_apple <- data.frame(
  sugar = rnorm(n, mean = 14.5, sd = 1.8),
  hardness = rnorm(n, mean = 7.5, sd = 1.2),
  class = "フジリンゴ"
)
# オウシュウナシのデータ
oushu_pear <- data.frame(
  sugar = rnorm(n, mean = 12.5, sd = 1.8),
  hardness = rnorm(n, mean = 5.5, sd = 1.2),
  class = "オウシュウナシ"
)

# データを結合
fruit_data_tree <- rbind(fuji_apple, oushu_pear)
fruit_data_tree$class <- as.factor(fruit_data_tree$class)

# 決定木モデルの学習
# cp(complexity parameter)は、モデルの複雑さを制御するパラメータ。
# 値が小さいほど木は深くなるが、ここではデフォルトに近い値で適切に剪定させる。
tree_model <- rpart(class ~ ., data = fruit_data_tree, method = "class", cp = 0.02)

# 決定木の構造をプロット
# extra=104: 各ノードにクラスごとのデータ数と確率を表示
# box.palette="auto": クラスごとにノードの色を自動設定
rpart.plot(tree_model,
  type = 4,
  extra = 104,
  under = TRUE,
  cex = 0.8,
  box.palette = "auto",
  main = "決定木による果物の分類ルール"
)

# 特徴空間の分割を可視化
# グリッドデータを作成
grid_range_tree <- apply(fruit_data_tree[, 1:2], 2, range)
x_grid_tree <- seq(from = grid_range_tree[1, 1], to = grid_range_tree[2, 1], length.out = 200)
y_grid_tree <- seq(from = grid_range_tree[1, 2], to = grid_range_tree[2, 2], length.out = 200)
grid_df_tree <- expand.grid(sugar = x_grid_tree, hardness = y_grid_tree)

# グリッドの各点で予測
grid_df_tree$predicted_class <- predict(tree_model, grid_df_tree, type = "class")

# プロットの作成
p_tree_space <- ggplot(data = fruit_data_tree, aes(x = sugar, y = hardness)) +
  # 予測領域を背景色で描画
  geom_raster(data = grid_df_tree, aes(fill = predicted_class), alpha = 0.3, interpolate = TRUE) +
  # 元のデータをプロット
  geom_point(aes(color = class, shape = class), size = 3) +
  scale_color_manual(values = c("フジリンゴ" = "red", "オウシュウナシ" = "darkgreen")) +
  scale_fill_manual(values = c("フジリンゴ" = "red", "オウシュウナシ" = "darkgreen")) +
  scale_shape_manual(values = c("フジリンゴ" = 16, "オウシュウナシ" = 17)) +
  guides(fill = "none") + # 背景色の凡例は非表示
  labs(
    title = "決定木による特徴空間の分割",
    subtitle = "学習したルールによって、空間が矩形領域に分割されている",
    x = "糖度",
    y = "硬度",
    color = "果物の種類",
    shape = "果物の種類"
  ) +
  theme_bw() +
  theme(legend.position = "bottom")

print(p_tree_space)

# 過学習した決定木モデル
# 決定木の学習パラメータを調整し、意図的に過学習したモデルを作成します。
# 具体的には、分割に必要な最小サンプル数を小さくし、cp値を0に近づけて剪定が行われないようにします。
# minsplit: ノードを分割するために必要な最小データ数
# cp: 0に設定すると、ごく僅かな改善でも分割を行うため、木が深くなる
overfit_tree_model <- rpart(class ~ .,
  data = fruit_data_tree, method = "class",
  control = rpart.control(minsplit = 2, cp = 0.0001)
)

# 過学習した木のプロット
rpart.plot(overfit_tree_model,
  type = 4,
  extra = 104,
  under = TRUE,
  cex = 0.6,
  box.palette = "auto",
  main = "過学習した決定木"
)

# 過学習モデルによる特徴空間の分割を可視化
grid_df_tree$predicted_class_overfit <- predict(overfit_tree_model, grid_df_tree, type = "class")

p_overfit_space <- ggplot(data = fruit_data_tree, aes(x = sugar, y = hardness)) +
  geom_raster(data = grid_df_tree, aes(fill = predicted_class_overfit), alpha = 0.3, interpolate = TRUE) +
  geom_point(aes(color = class, shape = class), size = 3) +
  scale_color_manual(values = c("フジリンゴ" = "red", "オウシュウナシ" = "darkgreen")) +
  scale_fill_manual(values = c("フジリンゴ" = "red", "オウシュウナシ" = "darkgreen")) +
  scale_shape_manual(values = c("フジリンゴ" = 16, "オウシュウナシ" = 17)) +
  guides(fill = "none") +
  labs(
    title = "過学習した決定木による特徴空間の分割",
    subtitle = "訓練データの一つ一つを分類しようとして、空間が細かく分断されている",
    x = "糖度",
    y = "硬度",
    color = "果物の種類",
    shape = "果物の種類"
  ) +
  theme_bw() +
  theme(legend.position = "bottom")

print(p_overfit_space)