Glue
-
PySparkで日付データを0パディングして別カラムに分ける
-
PySparkでUTCで入っている時刻をJSTに変換する
-
GlueのgetResolvedOptionsで任意の引数でもエラーが出ないようにする
-
GlueのPySparkでパーティション一覧を取得する
-
PySparkで特定の列の出現回数をカウントしてmap型でまとめる
-
PySparkで配列を展開してそれぞれの行にする
-
PySparkでgroupbyで集計したデータを配列にして一行にまとめる
-
CDKでGlueJobの一時ディレクトリや参照されるファイルパスやPythonライブラリパスなどを設定する
-
Dockerでparquet-toolsを使ってsnappy圧縮されたparquetファイルの中身を確認する
-
Glueで共通の処理を別ファイルにして読み込む
-
PySparkでJSON文字列が入った列のデータを取り出す
-
PySparkのDataFrameをSQLで操作する
-
PySparkで重複行を削除する
-
PySparkで行をフィルタリングする
-
PySparkで日付情報を別カラムに分割する
-
PySparkでDataFrameの指定したカラムのnullを特定の値で埋める
-
PySparkで追加したカラムにリテラル値を追加する
-
GlueでDynamoDBに書き込む方法
-
AWS Glueで日付の文字列をUnixtimeに変換する