Snowflake-拾光赋


def main():
    # Initialize Spark session
    spark = SparkSession.builder \
        .appName("SnowflakeToS3") \
        .config("spark.hadoop.fs.s3a.connection.timeout", "3600000") \  # 1 hour
        .config("spark.hadoop.fs.s3a.socket.timeout", "3600000") \  # 1 hour
        .config("spark.sql.sources.commitProtocolClass", "org.apache.spark.sql.execution.datasources.SQLHadoopMapReduceCommitProtocol") \ 
        .config("spark.sql.parquet.output.committer.class", "org.apache.parquet.hadoop.ParquetOutputCommitter") \
        .getOrCreate()
def main():
    # Initialize Spark session
    spark = SparkSession.builder \
        .appName("SnowflakeToS3") \
        .config("spark.hadoop.fs.s3a.connection.timeout", "3600000") \  # 1 hour
        .config("spark.hadoop.fs.s3a.socket.timeout", "3600000") \  # 1 hour
        .config("spark.sql.sources.commitProtocolClass", "org.apache.spark.sql.execution.datasources.SQLHadoopMapReduceCommitProtocol") \ 
        .config("spark.sql.parquet.output.committer.class", "org.apache.parquet.hadoop.ParquetOutputCommitter") \
        .getOrCreate()


def main():
    # Initialize Spark session
    spark = SparkSession.builder \
        .appName("SnowflakeToS3") \
        .config("spark.hadoop.fs.s3a.connection.timeout", "3600000") \  # 1 hour
        .config("spark.hadoop.fs.s3a.socket.timeout", "3600000") \  # 1 hour
        .config("spark.sql.sources.commitProtocolClass", "org.apache.spark.sql.execution.datasources.SQLHadoopMapReduceCommitProtocol") \ 
        .config("spark.sql.parquet.output.committer.class", "org.apache.parquet.hadoop.ParquetOutputCommitter") \
        .getOrCreate()

Enter fullscreen mode Exit fullscreen mode

原文链接：Snowflake

文章版权声明 1、本网站名称：拾光赋
2、本站永久网址：https://www.blogs.ink
3、本网站的文章部分内容可能来源于网络，仅供大家学习与参考，如有侵权，请联系站长QQ：805375623进行删除处理。
4、本站一切资源不代表本站立场，并不代表本站赞同其观点和对其真实性负责。
5、本站一律禁止以任何方式发布或转载任何违法的相关信息，访客发现请向站长举报
6、本站资源大多存储在云盘，如发现链接失效，请联系我们我们会第一时间更新。

THE END