【PySpark 大數據處理 09】突破語法限制：無縫整合 PySpark 與標準 SQL 查詢

經過前面幾篇的學習，我們已經熟悉了 PySpark DataFrame 專屬的 API 語法（例如 select(), filter(), withColumn(), groupBy()）。這些語法非常強大且支援物件導向的串接，但對於許多熟悉關聯式資料庫（如 MySQL、SQL Server）的開發者來說，難免會覺得：「如果能直接寫 SQL 該有多好？」

好消息是，Apache Spark 內建了極度強大的 Spark SQL 引擎。只要透過一個簡單的指令，我們就能在 PySpark 環境中無縫切換，直接用標準的 SQL 語法來查詢百萬級別的大數據！

1. 核心橋樑：認識 TempView (暫存視圖)

PySpark DataFrame 存在於記憶體中，原生的 SQL 引擎無法直接看見它。為了讓 SQL 引擎能對其下達指令，我們必須先將 DataFrame 註冊為一張「虛擬的資料表」，在 Spark 中稱為 TempView。

【PySpark 大數據處理 08】數據樞紐分析：群組運算 (GroupBy) 與多維度聚合 (Aggregation)

歷經了前幾篇的資料清洗（處理 Null、去除重複、字串與時間正規化），我們的資料終於變得乾淨且具備標準結構了！接下來，我們將進入大數據分析中最讓人興奮的階段：萃取商業價值。

無論是計算「每個月的總營收」、「各個分店的平均客單價」，還是「不同感測器的最高溫度」，背後的核心技術都離不開「群組運算 (GroupBy)」與「聚合函數 (Aggregation)」。這就像是在 PySpark 裡執行超高效率的 Excel 樞紐分析表！

1. 核心觀念：Split - Apply - Combine

在學習語法前，我們必須先理解群組運算在底層是如何運作的。在資料科學界，這被稱為 Split-Apply-Combine (拆分-應用-結合) 策略：

【PySpark 大數據處理 07】進階資料清洗：字串處理 (String) 與時間格式 (Timestamp) 正規化

在上一篇中，我們成功消滅了缺失值與重複資料。但資料的考驗還沒結束！在真實的商業環境中，資料往往是由不同系統或人工輸入匯集而成的，這會導致兩個常見的災難：充滿雜訊的字串（例如多餘的空白、大小寫不一致），以及格式五花八門的日期時間。

今天，我們將學習 PySpark 內建強大的字串處理函數，以及如何將混亂的時間統一「正規化 (Normalization)」，為未來的時間序列分析打下良好基礎。

1. 觀念解析：為什麼需要正規化？

對電腦來說，字串 `"Apple "` (後面多一個空白) 和 `"Apple"` 是完全不同的東西；同樣地，字串 `"2026/10/25"` 與時間戳記 `2026-10-25 00:00:00` 在底層的處理邏輯也天差地遠。請參考下方的轉換示意圖：