歷經十篇文章，【PySpark 大數據處理】系列正式完結！這份系列教學源自為碩一新生規劃的實務課程，從 Google Colab 零設定環境開始，一路走到完整的探索性資料分析 (EDA)。為了方便大家複習與查找，本篇將十篇文章依學習階段整理成一張地圖，建議初學者依序閱讀，有經驗的讀者則可直接跳到需要的主題。
學習路線一覽
階段一｜打好基礎：01 環境建置 → 02 DataFrame 與 RDD
階段二｜資料進出：03 CSV／JSON／Parquet 讀寫
階段三｜清洗與塑形：04 Select／Filter → 05 withColumn／Cast → 06 Null 與重複 → 07 字串與時間正規化
階段四｜萃取價值：08 GroupBy 聚合 → 09 Spark SQL
階段五｜融會貫通：10 完整 EDA 實戰
階段二｜資料進出：03 CSV／JSON／Parquet 讀寫
階段三｜清洗與塑形：04 Select／Filter → 05 withColumn／Cast → 06 Null 與重複 → 07 字串與時間正規化
階段四｜萃取價值：08 GroupBy 聚合 → 09 Spark SQL
階段五｜融會貫通：10 完整 EDA 實戰
系列文章目錄
| 篇次 | 文章標題 | 學習重點 |
|---|---|---|
| 01 | 大數據運算起點：PySpark 核心概念與 Google Colab 零設定環境建置 | 分散式運算概念、SparkSession、Colab 安裝 |
| 02 | 駕馭資料的基礎：DataFrame 結構解析與 RDD 差異 | RDD 與 DataFrame、Schema、Catalyst 優化器 |
| 03 | 資料匯入與輸出：無縫接軌 CSV、JSON 與 Parquet 格式 | 三種格式讀寫、為何偏好 Parquet |
| 04 | 精準萃取資訊：DataFrame 的欄位選取 (Select) 與條件過濾 (Filter) | select() 切欄、filter() 切列、Filter Early |
| 05 | 資料塑形與運算：新增欄位 (withColumn) 與型態轉換 (Cast) | 不可變特性、衍生欄位、型態修正 |
| 06 | 資料品質守門員：優雅處理缺失值 (Null) 與重複資料 | dropna／fillna、dropDuplicates |
| 07 | 進階資料清洗：字串處理 (String) 與時間格式 (Timestamp) 正規化 | trim／大小寫、正規表示式、時間格式統一 |
| 08 | 數據樞紐分析：群組運算 (GroupBy) 與多維度聚合 (Aggregation) | Split-Apply-Combine、agg() 多指標 |
| 09 | 突破語法限制：無縫整合 PySpark 與標準 SQL 查詢 | TempView、spark.sql()、API 與 SQL 互換 |
| 10 | 大數據實戰演練：從原石到鑽石的完整探索性分析 (EDA) | End-to-End 資料管線、商業洞察 |
給讀者的學習建議
- 邊讀邊跑程式：每篇範例都能在 Google Colab 直接執行，建議開一份自己的筆記本跟著敲一遍。
- 清洗比分析更花時間：04～07 篇是實務中最常用到的技巧，值得反覆練習。
- API 與 SQL 擇一精熟、另一個看得懂：08 與 09 篇處理的是同一件事的兩種寫法，團隊合作時兩種都會遇到。
- 最後用第 10 篇驗收：試著換一份自己感興趣的公開資料集，從頭走完整條管線。
如果你在練習過程中遇到問題，歡迎在下方留言討論。也可以在網誌搜尋單元的輸入 PySpark 標籤，搜尋瀏覽本系列所有文章。
沒有留言:
張貼留言