Python
-
[boto3]S3の特定のディレクトリ以下にディレクトリかファイルが存在するか確認
-
PySparkでUTCで入っている時刻をJSTに変換する
-
GlueのgetResolvedOptionsで任意の引数でもエラーが出ないようにする
-
GlueのPySparkでパーティション一覧を取得する
-
PySparkで特定の列の出現回数をカウントしてmap型でまとめる
-
PySparkで配列を展開してそれぞれの行にする
-
PySparkでgroupbyで集計したデータを配列にして一行にまとめる
-
PySparkでJSON文字列が入った列のデータを取り出す
-
PySparkのDataFrameをSQLで操作する
-
PySparkで重複行を削除する
-
PySparkで行をフィルタリングする
-
PySparkで日付情報を別カラムに分割する
-
PySparkでDataFrameの指定したカラムのnullを特定の値で埋める
-
PySparkで追加したカラムにリテラル値を追加する