参考文章
hadoop详细说明配置文件
core-site.xml篇
hdfs-site.xml篇
参考文章
| 目的 | 链接 |
|---|---|
| hadoop配置文件 | hadoop详细说明配置文件系列(1)-core-site.xml篇 - 程序员姜小白 - 博客园 (cnblogs.com) |
| hadoop配置文件 | hadoop详细说明配置文件系列(2)-hdfs-site.xml篇 - 程序员姜小白 - 博客园 (cnblogs.com) |
core-site.xml篇
|
|
|
|---|---|
| hadoop.common.configuration.version | 属性值:0.23.0.【描述】:配置文件的版本。 |
| hadoop.tmp.dir | 【属性值】:/tmp/hadoop-${user.name};【描述】:其他临时目录的父目录将用于其他临时目录。 |
| io.native.lib.available | 【属性值】:TRUE;描述:是否使用本地仓库bz2和zlib文件压缩和编解码。 |
| hadoop.http.filter.initializers | 【属性值】:org.apache.hadoop.http.lib.StaticUserWebFilter;【描述】:必须继承逗号分隔的类名列表org.apache.hadoop.http.FilterInitializer,相应的过滤器初始化后,全部应用JSP和Servlet网页。列表的排序是过滤器的排序。列表的排序是过滤器的排序。 |
| hadoop.security.authorization | 【属性值】:FALSE;【描述】:是否启用service等级授权。 |
| hadoop.security.instrumentation.requires.admin | 【属性值】:FALSE;描述:访问servlets (JMX, METRICS, CONF, STACKS)是否需要管理员ACL授权(访问控制列表)。 |
| hadoop.security.authentication | 【属性值】:simple;描述:有两个选项,simple和kerberos,百度是两者的详细区别。 |
| hadoop.security.group.mapping | 【属性值】:org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback;【描述】:用于ACL用户组映射类,默认实现类是 org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback,定义了JNI是否可用,如果可用,将使用hadoop中的API如果不可用,实现访问用户组的分析。将使用ShellBasedUnixGroupsMapping来实现。 |
| hadoop.security.dns.interface | 【属性值】:Kerberos登录主机网络接口的名称。 |
|
|
【属性值】:;【描述】:用于确定Kerberos登录主机的地址。 |
| hadoop.security.dns.log-slow-lookups.enabled | 【属性值】:FALSE;【描述】:当查询名称时间超过阈值时是否进行记录。 |
| hadoop.security.dns.log-slow-lookups.threshold.ms | 【属性值】:1000;【描述】:接上一个属性,这个属性就是设置阈值的。 |
| hadoop.security.groups.cache.secs | 【属性值】:300;【描述】:配置用户组映射缓存时间的,当过期时重新获取并缓存。 |
| hadoop.security.groups.negative-cache.secs | 【属性值】:30;【描述】:当无效用户频繁访问,用于设置缓存锁定时间。建议设置为较小的值,也可以通过设置为0或负数来禁用此属性。 |
| hadoop.security.groups.cache.warn.after.ms | 【属性值】:5000;【描述】:当查询用户组时间超过设置的这个阈值时,则作为警告信息进行记录。 |
| hadoop.security.groups.cache.background.reload | 【属性值】:FALSE;【描述】:是否使用后台线程池重新加载过期的用户组映射。 |
| hadoop.security.groups.cache.background.reload.threads | 【属性值】:3;【描述】:接上一个属性,当上个属性为true时,通过此属性控制后台线程的数量。 |
| hadoop.security.groups.shell.command.timeout | 【属性值】:0s;【描述】:设置shell等待命令执行时间,如果超时,则命令中止,如果设置为0,表示无限等待。 |
| hadoop.security.group.mapping.ldap.connection.timeout.ms | 【属性值】:60000;【描述】:设置LDAP的连接超时时间,如果为0或负数,表示无限等待。 |
| hadoop.security.group.mapping.ldap.read.timeout.ms | 【属性值】:60000;【描述】:设置LDAP的读取超时时间,如果为0或负数,表示无限等待。 |
| hadoop.security.group.mapping.ldap.url | 【属性值】:;【描述】:LDAP服务器的地址。 |
| hadoop.security.group.mapping.ldap.ssl | 【属性值】:FALSE;【描述】:是否使用SSL连接LDAP服务器。 |
| hadoop.security.group.mapping.ldap.ssl.keystore | 【属性值】:;【描述】:包含SSL证书的SSL密钥文件的存储路径。 |
| hadoop.security.group.mapping.ldap.ssl.keystore.password.file | 【属性值】:;【描述】:包括SSL密钥文件访问密码的文件路径,如果此属性没有设置,并且hadoop.security.group.mapping.ldap.ssl.keystore.password属性也没有设置,则直接从LDAP指定文件读取密码(注意:此文件只能由运行守护进程的unix用户读取,并且应该是本地文件)。 |
| hadoop.security.group.mapping.ldap.ssl.keystore.password | 【属性值】:;【描述】:保存SSL密钥文件访问密码的别名,如果此属性为空,并且hadoop.security.credential.clear-text-fallback属性为true时,则通过后者获取密码。 |
| hadoop.security.credential.clear-text-fallback | 【属性值】:TRUE;【描述】:是否将密码保存为明文。 |
| hadoop.security.credential.provider.path | 【属性值】:;【描述】:包含证书类型和位置的文件地址列表。 |
| hadoop.security.credstore.java-keystore-provider.password-file | 【属性值】:;【描述】:包含用户自定义密码的文件路径。 |
| hadoop.security.group.mapping.ldap.bind.user | 【属性值】:;【描述】:连接到LDAP服务器时的用户别名,如果LDAP服务器支持匿名绑定,则此属性可以为空值。 |
| hadoop.security.group.mapping.ldap.bind.password.file | 【属性值】:;【描述】:包含绑定用户密码的文件的路径。如果在证书提供程序中没有配置密码,并且属性hadoop.security.group.mapping.ldap.bind.password没有设置,则从文件读取密码。注意:此文件只能由运行守护进程的UNIX用户读取,并且应该是本地文件。 |
| hadoop.security.group.mapping.ldap.bind.password | 【属性值】:;【描述】:绑定用户的密码。此属性名用作从凭据提供程序获取密码的别名。如果无法找到密码,hadoop.security.credential.clear-text-fallback是真的,则使用此属性的值作为密码。 |
| hadoop.security.group.mapping.ldap.base | 【属性值】:;【描述】:LDAP连接时搜索的根目录。 |
| hadoop.security.group.mapping.ldap.userbase | 【属性值】:;【描述】:指定用户LDAP连接时搜索的根目录。如果不设置此属性,则使用hadoop.security.group.mapping.ldap.base属性的值。 |
| hadoop.security.group.mapping.ldap.groupbase | 【属性值】:;【描述】:指定用户组LDAP连接时搜索的根目录。如果不设置此属性,则使用hadoop.security.group.mapping.ldap.base属性的值。 |
| hadoop.security.group.mapping.ldap.search.filter.user | 【属性值】:(&(objectClass=user)(sAMAccountName={0}));【描述】:搜索LDAP用户时提供的额外的筛选器。 |
| hadoop.security.group.mapping.ldap.search.filter.group | 【属性值】:(objectClass=group);【描述】:搜索LDAP用户组时提供的额外的筛选器。 |
| hadoop.security.group.mapping.ldap.search.attr.memberof | 【属性值】:;【描述】:用户对象的属性,用于标识其组对象。 |
| hadoop.security.group.mapping.ldap.search.attr.member | 【属性值】:member;【描述】:用户组对象的属性,用于标识其有哪些组成员。 |
| hadoop.security.group.mapping.ldap.search.attr.group.name | 【属性值】:cn;【描述】:用户组对象的属性,用于标识用户组的名称。 |
| hadoop.security.group.mapping.ldap.search.group.hierarchy.levels | 【属性值】:0;【描述】:当要确定用户所属的用户组时,此属性用于指定向上查找的层级数目。如果为0,则表示只查询当前用户所属的直接用户组,不再向上查找。 |
| hadoop.security.group.mapping.ldap.posix.attr.uid.name | 【属性值】:uidNumber;【描述】: posixAccount的属性,用于成员分组 |
| hadoop.security.group.mapping.ldap.posix.attr.gid.name | 【属性值】:gidNumber;【描述】:posixAccount的属性,用户标识组ID。 |
| hadoop.security.group.mapping.ldap.directory.search.timeout | 【属性值】:10000;【描述】: LDAP SearchControl的属性,用于在搜索和等待结果时设置最大时间限制。如果需要无限等待时间,设置为0。默认值为10秒。单位为毫秒。 |
| hadoop.security.group.mapping.providers | 【属性值】:;【描述】:逗号分隔的提供商名称,用于用户组映射。 |
| hadoop.security.group.mapping.providers.combined | 【属性值】:TRUE;【描述】:标识提供商提供的级是否可以被组合。 |
| hadoop.security.service.user.name.key | 【属性值】:;【描述】:此属性用于指定RPC调用的服务主名称,适用于相同的RPC协议由多个服务器实现的情况。 |
| fs.azure.user.agent.prefix | 【属性值】:unknown;【描述】:WASB提供给Azure的前缀,默认包括WASB版本、JAVA运行时版本、此属性的值等。 |
| hadoop.security.uid.cache.secs | 【属性值】:14400;【描述】:控制缓存的过期时间。 |
| hadoop.rpc.protection | 【属性值】:authentication;【描述】:一个逗号分隔的安全SASL连接的保护值列表。 |
| hadoop.security.saslproperties.resolver.class | 【属性值】:;【描述】:用于连接时解决QOP的SaslPropertiesResolver。 |
| hadoop.security.sensitive-config-keys | 【属性值】:secret$ password$ ssl.keystore.pass$ fs.s3.*[Ss]ecret.?[Kk]ey fs.s3a.*.server-side-encryption.key fs.azure.account.key.* credential$ oauth.*token$ hadoop.security.sensitive-config-keys;【描述】:一个逗号分隔的或多行的正则表达式列表。 |
| hadoop.workaround.non.threadsafe.getpwuid | 【属性值】:TRUE;【描述】:一些系统已知在调用getpwuid_r和getpwgid_r有问题,这些调用是非线程安全的。这个问题的主要表现特征是JVM崩溃。如果你的系统有这些问题,开启这个选项。默认是关闭的。 |
| hadoop.kerberos.kinit.command | 【属性值】:kinit;【描述】:用于Kerberos证书的定时更新。 |
| hadoop.kerberos.min.seconds.before.relogin | 【属性值】:60;【描述】:重新尝试登录Kerberos的最小时间间隔,单位为秒。 |
| hadoop.security.auth_to_local | 【属性值】:;【描述】:将Kerberos主体映射到本地用户名。 |
| hadoop.token.files | 【属性值】:;【描述】:具有Hadoop服务授权令牌的令牌缓存文件列表。 |
| io.file.buffer.size | 【属性值】:4096;【描述】:在序列文件中使用的缓冲区大小。这个缓冲区的大小应该是页大小(英特尔x86上为4096)的倍数,它决定读写操作中缓冲了多少数据。 |
| io.bytes.per.checksum | 【属性值】:512;【描述】:每个检验和的字节数,不能大于 io.file.buffer.size属性的值。 |
| io.skip.checksum.errors | 【属性值】:FALSE;【描述】:如果为true,当读取序列文件时遇到校验和错误,则跳过条目,而不是抛出异常。 |
| io.compression.codecs | 【属性值】:;【描述】:一组可用于压缩/解压缩的表列表,使用逗号进行分隔。 |
| io.compression.codec.bzip2.library | 【属性值】:system-native;【描述】:用于bzip2编解码的本地代码库,可以通过名称或全路径来指定该库。 |
| io.serializations | 【属性值】:org.apache.hadoop.io.serializer.WritableSerialization, org.apache.hadoop.io.serializer.avro.AvroSpecificSerialization, org.apache.hadoop.io.serializer.avro.AvroReflectSerialization;【描述】:可用于获取序列化和反序列化的序列化类的列表。 |
| io.seqfile.local.dir | 【属性值】:${hadoop.tmp.dir}/io/local;【描述】:存储中间数据文件的本地目录。 |
| io.map.index.skip | 【属性值】:0;【描述】:跳过索引的数量。 |
| io.map.index.interval | 【属性值】:128;【描述】:MapFile由两部分组成:数据文件和索引文件。在每个设置的时间间隔后,会根据写入的数据文件内容,创建索引对应的索引文件内容。 |
| fs.defaultFS | 【属性值】:file:///;【描述】:默认文件系统的名称。通常指定namenode的URI地址,包括主机和端口。 |
| fs.default.name | 【属性值】:file:///;【描述】:不建议使用此属性,建议用fs.defaultFS属性代替。 |
| fs.trash.interval | 【属性值】:0;【描述】:检查点被删除的时间间隔,单位为分钟。此属性可以在服务器和客户端上配置。如果服务器上被禁用,则检查客户端配置,如果服务器上被启用,则忽略客户端配置。 |
| fs.trash.checkpoint.interval | 【属性值】:0;【描述】:检查点之间的时间间隔,此属性的值应该小于fs.trash.interval属性的值。每次检查指针运行时,它都会创建一个新的检查点,并移除在几分钟前创建的检查点。 |
| fs.protected.directories | 【属性值】:;【描述】:一个逗号分隔的目录列表,即使是空的,也不能被超级用户删除。此设置可用于防止重要系统目录因管理员错误而意外删除。 |
| fs.AbstractFileSystem.file.impl | 【属性值】:org.apache.hadoop.fs.local.LocalFs;【描述】:file的抽象文件类。 |
| fs.AbstractFileSystem.har.impl | 【属性值】:org.apache.hadoop.fs.HarFs;【描述】:har的抽象文件类。 |
| fs.AbstractFileSystem.hdfs.impl | 【属性值】:org.apache.hadoop.fs.Hdfs;【描述】:hdfs的抽象文件类。 |
| fs.AbstractFileSystem.viewfs.impl | 【属性值】:org.apache.hadoop.fs.viewfs.ViewFs;【描述】:viewfs的抽象文件类。 |
| fs.viewfs.rename.strategy | 【属性值】:SAME_MOUNTPOINT;【描述】:允许在多个挂载点间重命名。 |
| fs.AbstractFileSystem.ftp.impl | 【属性值】:org.apache.hadoop.fs.ftp.FtpFs;【描述】:ftp的抽象文件类。 |
| fs.AbstractFileSystem.webhdfs.impl | 【属性值】:org.apache.hadoop.fs.WebHdfs;【描述】:webhdfs的抽象文件类。 |
| fs.AbstractFileSystem.swebhdfs.impl | 【属性值】:org.apache.hadoop.fs.SWebHdfs;【描述】:swebhdfs的抽象文件类。 |
| fs.ftp.host | 【属性值】:0.0.0.0;【描述】:ftp的连接服务器。 |
| fs.ftp.host.port | 【属性值】:21;【描述】:ftp的连接服务器端口。 |
| fs.ftp.data.connection.mode | 【属性值】:ACTIVE_LOCAL_DATA_CONNECTION_MODE;【描述】:ftp客户端的数据连接模式,有如下选项ACTIVE_LOCAL_DATA_CONNECTION_MODE,PASSIVE_LOCAL_DATA_CONNECTION_MODE 和PASSIVE_REMOTE_DATA_CONNECTION_MODE。 |
| fs.ftp.transfer.mode | 【属性值】:BLOCK_TRANSFER_MODE;【描述】:ftp的数据传输模式,有如下选项 STREAM_TRANSFER_MODE,BLOCK_TRANSFER_MODE 和COMPRESSED_TRANSFER_MODE。 |
| fs.df.interval | 【属性值】:60000;【描述】:磁盘使用统计情况的刷新时间间隔。 |
| fs.du.interval | 【属性值】:600000;【描述】:文件空间使用统计情况的刷新时间间隔。 |
| fs.s3.awsAccessKeyId | 【属性值】:;【描述】:S3使用的AWS访问密钥ID。 |
| fs.s3.awsSecretAccessKey | 【属性值】:;【描述】:S3使用的AWS密钥. |
| fs.s3.block.size | 【属性值】:67108864;【描述】:S3使用的块大小。 |
| fs.s3.buffer.dir | 【属性值】:${hadoop.tmp.dir}/s3;【描述】:该目录用于发送S3前的临时本地目录。 |
| fs.s3.maxRetries | 【属性值】:4;【描述】:在向应用程序发出故障之前,读取或写入文件到S3的最大重试次数。 |
| fs.s3.sleepTimeSeconds | 【属性值】:10;【描述】:在每次S3重试之间的睡眠时间间隔。 |
| fs.swift.impl | 【属性值】:org.apache.hadoop.fs.swift.snative.SwiftNativeFileSystem;【描述】:OpenStack Swift Filesystem的实现类。 |
| fs.automatic.close | 【属性值】:TRUE;【描述】:当为true时,FileSystem的实例会在程序退出时关闭,为false时,不自动退出。 |
| fs.s3n.awsAccessKeyId | 【属性值】:;【描述】:S3本地文件系统使用的AWS访问密钥ID。 |
| fs.s3n.awsSecretAccessKey | 【属性值】:;【描述】:S3本地文件系统使用的AWS密钥. |
| fs.s3n.block.size | 【属性值】:67108864;【描述】:S3本地文件系统使用的块大小。 |
| fs.s3n.multipart.uploads.enabled | 【属性值】:FALSE;【描述】:为true时,允许多个上传到本地S3。当上传一个的大小超过fs.s3n.multipart.uploads.block.size属性的大小,则将其分割成块。 |
| fs.s3n.multipart.uploads.block.size | 【属性值】:67108864;【描述】:多上传到本地S3时的块大小,默认大小为64MB。 |
| fs.s3n.multipart.copy.block.size | 【属性值】:5368709120;【描述】:多拷贝时的块大小,默认大小为5GB。 |
| fs.s3n.server-side-encryption-algorithm | 【属性值】:;【描述】:为S3指定服务器端加密算法。默认情况下未设置,而当前唯一允许的值是AES256。 |
| fs.s3a.access.key | 【属性值】:;【描述】:S3A文件系统使用的AWS访问密钥ID。 |
| fs.s3a.secret.key | 【属性值】:;【描述】:S3A文件系统使用的AWS密钥。 |
| fs.s3a.aws.credentials.provider | 【属性值】:;【描述】:一组com.amazonaws.auth.AWSCredentialsProvider的实现类,按照顺序加载和查询。 |
| fs.s3a.session.token | 【属性值】:;【描述】:当使用org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider时的会话令牌。 |
| fs.s3a.security.credential.provider.path | 【属性值】:;【描述】:hadoop.security.credential.provider.path属性的一个子集 |
| fs.s3a.connection.maximum | 【属性值】:15;【描述】:S3A的最大连接数。 |
| fs.s3a.connection.ssl.enabled | 【属性值】:TRUE;【描述】:是否启用SSL连接到S3A。 |
| fs.s3a.endpoint | 【属性值】:;【描述】:AWS S3 连接终端。 |
| fs.s3a.path.style.access | 【属性值】:FALSE;【描述】:启用S3A path style访问,即禁用默认虚拟的互联网行为。 |
| fs.s3a.proxy.host | 【属性值】:;【描述】:S3A连接代理的主机名。 |
| fs.s3a.proxy.port | 【属性值】:;【描述】:S3A连接代理的端口,如果未设置,默认为80或443。 |
| fs.s3a.proxy.username | 【属性值】:;【描述】:S3A连接代理的用户名。 |
| fs.s3a.proxy.password | 【属性值】:;【描述】:S3A连接代理的密码。 |
| fs.s3a.proxy.domain | 【属性值】:;【描述】:S3A连接代理的域。 |
| fs.s3a.proxy.workstation | 【属性值】:;【描述】:S3A连接代理的工作站。 |
| fs.s3a.attempts.maximum | 【属性值】:20;【描述】:当出现错误时的最大重试次数。 |
| fs.s3a.connection.establish.timeout | 【属性值】:5000;【描述】:Socket连接建立超时时间,单位为毫秒。 |
| fs.s3a.connection.timeout | 【属性值】:200000;【描述】:Socket连接保持时间,单位为毫秒。 |
| fs.s3a.socket.send.buffer | 【属性值】:8192;【描述】:Socket 发送缓冲大小,单位为字节。 |
| fs.s3a.socket.recv.buffer | 【属性值】:8192;【描述】:Socket 接收缓冲大小,单位为字节。 |
| fs.s3a.paging.maximum | 【属性值】:5000;【描述】:在读取目录列表时,从S3A同时请求的密钥最大数量。 |
| fs.s3a.threads.max | 【属性值】:10;【描述】:文件请求的最大并发线程数。 |
| fs.s3a.threads.keepalivetime | 【属性值】:60;【描述】:线程空间多长时间后,即终止。单位为秒。 |
| fs.s3a.max.total.tasks | 【属性值】:5;【描述】:可以并发执行的操作数。 |
| fs.s3a.multipart.size | 【属性值】:100M;【描述】:upload或copy操作,当文件超过多大时,即拆分。单位可以为K/M/G/T/P。 |
| fs.s3a.multipart.threshold | 【属性值】:2147483647;【描述】:upload或copy或rename操作,当文件超过多大时,即拆分。单位可以为K/M/G/T/P,不写表示字节。 |
| fs.s3a.multiobjectdelete.enable | 【属性值】:TRUE;【描述】:当启用时,多个单对象的删除,被单个多对象的删除替代,以减少请求数。 |
| fs.s3a.acl.default | 【属性值】:;【描述】:选项有Private、PublicRead,、PublicReadWrite、 AuthenticatedRead、LogDeliveryWrite、 BucketOwnerRead、 or BucketOwnerFullControl。 |
| fs.s3a.multipart.purge | 【属性值】:FALSE;【描述】:当为true时,清除多文件上传失败时的文件。 |
| fs.s3a.multipart.purge.age | 【属性值】:86400;【描述】:清理多文件上传的最小秒数。 |
| fs.s3a.server-side-encryption-algorithm | 【属性值】:;【描述】:为S3A指定服务器端加密算法,可以为 'AES256' (for SSE-S3)、 'SSE-KMS' 或 'SSE-C'. |
| fs.s3a.server-side-encryption.key | 【属性值】:;【描述】:如果 fs.s3a.server-side-encryption-algorithm属性值为'SSE-KMS' or 'SSE-C',则使用特定的加密密钥。在SSE-C的情况下,这个属性的值应该是Base64编码的密钥,在SSE-KMS的情况下,如果该属性为空,则使用默认的S3KMS密钥,否则应将该属性设置为特定的KMS密钥ID。 |
| fs.s3a.signing-algorithm | 【属性值】:;【描述】:重写默认签名算法。 |
| fs.s3a.block.size | 【属性值】:32M;【描述】:S3A的块大小。 |
| fs.s3a.buffer.dir | 【属性值】:${hadoop.tmp.dir}/s3a;【描述】:用于缓冲上传文件的目录。 |
| fs.s3a.fast.upload | 【属性值】:FALSE;【描述】:是否启用基于增量块的快速上传机制。 |
| fs.s3a.fast.upload.buffer | 【属性值】:disk;【描述】:选项可以为disk/array/bytebuffer。 |
| fs.s3a.fast.upload.active.blocks | 【属性值】:4;【描述】:单个输出流可以激活的最大块数。 |
| fs.s3a.readahead.range | 【属性值】:64K;【描述】:在关闭和重新打开S3 HTTP连接之前在seek()提前读取的字节。 |
| fs.s3a.user.agent.prefix | 【属性值】:;【描述】:设置一个自定义值,作为发送到S3的HTTP请求的头部。 |
| fs.s3a.metadatastore.authoritative | 【属性值】:FALSE;【描述】:当为true时,允许元数据作为真实的数据源。 |
| fs.s3a.metadatastore.impl | 【属性值】:org.apache.hadoop.fs.s3a.s3guard.NullMetadataStore;【描述】:实现S3A的元数据存储类的完全限定名。 |
| fs.s3a.s3guard.cli.prune.age | 【属性值】:86400000;【描述】:删除命令执行后,元数据在设定时间后被删除,单位为毫秒。 |
| fs.s3a.impl | 【属性值】:org.apache.hadoop.fs.s3a.S3AFileSystem;【描述】:S3A文件系统的实现类 。 |
| fs.s3a.s3guard.ddb.region | 【属性值】:;【描述】:AWS DynamoDB连接域。 |
| fs.s3a.s3guard.ddb.table | 【属性值】:;【描述】:DynamoDB操作表名,如果此属性没有被设置,则使用S3的桶名。 |
| fs.s3a.s3guard.ddb.table.create | 【属性值】:FALSE;【描述】:当为true时,S3A客户端将允许创建不存在的表。 |
| fs.s3a.s3guard.ddb.table.capacity.read | 【属性值】:500;【描述】:读操作的吞吐量设置。 |
| fs.s3a.s3guard.ddb.table.capacity.write | 【属性值】:100;【描述】:写操作的吞吐量设置。 |
| fs.s3a.s3guard.ddb.max.retries | 【属性值】:9;【描述】:批量DynamoDB操作报错或取消前的最大重试次数。 |
| fs.s3a.s3guard.ddb.background.sleep | 【属性值】:25;【描述】:批量删除时,每个删除间的时间间隔,单位为毫秒。 |
| fs.AbstractFileSystem.s3a.impl | 【属性值】:org.apache.hadoop.fs.s3a.S3A;【描述】:S3A抽象文件系统的实现类。 |
| fs.wasb.impl | 【属性值】:org.apache.hadoop.fs.azure.NativeAzureFileSystem;【描述】:原生Azure文件系统的实现类。 |
| fs.wasbs.impl | 【属性值】:org.apache.hadoop.fs.azure.NativeAzureFileSystem$Secure;【描述】:安全原生Azure文件系统的实现类。 |
| fs.azure.secure.mode | 【属性值】:FALSE;【描述】:当为true时,允许 fs.azure.NativeAzureFileSystem使用SAS密钥与Azure存储进行通信。 |
| fs.azure.local.sas.key.mode | 【属性值】:FALSE;【描述】:当为true时,fs.azure.NativeAzureFileSystem使用本地SAS密钥生成,当为false,此属性无意义。 |
| fs.azure.sas.expiry.period | 【属性值】:90d;【描述】:生成的SAS密钥过期时间,单位可以是ms(millis), s(sec), m(min), h(hour), d(day) 。 |
| fs.azure.authorization | 【属性值】:FALSE;【描述】:当为true时,启用WASB的授权支持。 |
| fs.azure.authorization.caching.enable | 【属性值】:TRUE;【描述】:当为true时,开户授权结果的缓存。 |
| fs.azure.saskey.usecontainersaskeyforallaccess | 【属性值】:TRUE;【描述】:当为true时,使用容器内的SAS密钥访问blob,专用密钥无效。 |
| fs.adl.impl | 【属性值】:org.apache.hadoop.fs.adl.AdlFileSystem;【描述】: |
| fs.AbstractFileSystem.adl.impl | 标签: 传感器afs60b |