プログラムや日常のこととか書いてます
-
GlueのPySparkでパーティション一覧を取得する
-
PySparkで特定の列の出現回数をカウントしてmap型でまとめる
-
PySparkで配列を展開してそれぞれの行にする
-
PySparkでgroupbyで集計したデータを配列にして一行にまとめる
-
CDKでGlueJobの一時ディレクトリや参照されるファイルパスやPythonライブラリパスなどを設定する
-
PySparkのJOINのhowオプション全部試してみた
-
Dockerでparquet-toolsを使ってsnappy圧縮されたparquetファイルの中身を確認する
-
Glueで共通の処理を別ファイルにして読み込む
-
PySparkでJSON文字列が入った列のデータを取り出す
-
PySparkのDataFrameをSQLで操作する