兼容说明

大多数基于AWS S3开发的工具都可以设置访问地址。通过设置这些工具的访问地址为BOS的AWS S3服务域名，您就可以使用这些工具访问BOS。下面以一些常用SDK和工具为例，说明如何对接BOS。

说明：

字串	含义
$ACCESS_KEY	百度智能云账号的Access key
$SECRET_KEY	百度智能云账号的Secret key

AWS SDK for Python

1. 安装Boto类库：

   Plain Text 复制

   1pip install boto3

2. 使用AWS SDK for python访问Bos

   Plain Text 复制

   1import boto3
   2from botocore.client import Config
   3s3 = boto3.client(
   4        's3',
   5        aws_access_key_id=$ACCESS_KEY,
   6        aws_secret_access_key=$SECRET_KEY,
   7        endpoint_url='http://s3.bj.bcebos.com',
   8        region_name='bj',
   9        config = Config(
   10            signature_version='s3v4',
   11        )
   12     )
   13# Use S3 client
   14s3.create_bucket(...)

AWS SDK for Java

1. 添加依赖包到pom.xml

   Plain Text 复制

   1//添加下面AWS Java SDK依赖包到pom.xml
   2<dependency>
   3  <groupId>com.amazonaws</groupId>
   4  <artifactId>aws-java-sdk</artifactId>
   5  <version>1.11.82</version>
   6</dependency>

2. 使用AWS SDK for java访问Bos

   Plain Text 复制

   1import java.io.IOException;
   2import com.amazonaws.services.s3.AmazonS3;
   3import com.amazonaws.services.s3.AmazonS3Client;
   4import com.amazonaws.services.s3.model.*;
   5import com.amazonaws.services.s3.S3ClientOptions;
   6import com.amazonaws.auth.BasicAWSCredentials;
   7import com.amazonaws.SDKGlobalConfiguration;
   8  
   9public class S3Sample {
   10    public static void main(String[] args) throws IOException {
   11        System.setProperty(SDKGlobalConfiguration.ENABLE_S3_SIGV4_SYSTEM_PROPERTY, "true");
   12        AmazonS3 s3 = new AmazonS3Client(new BasicAWSCredentials($ACCESS_KEY,$SECRET_KEY));
   13        s3.setEndpoint("s3.bj.bcebos.com");
   14        S3ClientOptions options = new S3ClientOptions();
   15        options.withChunkedEncodingDisabled(true);
   16        s3.setS3ClientOptions(options);
   17         
   18        // Use S3 Client
   19        s3.createBucket(...);
   20    }
   21  
   22}

3. 编译代码

   Plain Text 复制

   1mvn package

AWS PHP SDK

1. 安装:下载aws.phar，更多安装方式见AWS PHP SDK安装方式。

2. 使用AWS SDK for PHP访问Bos

   Plain Text 复制

   1<?php    
   2require 'aws.phar';                  
   3use Aws\S3\S3Client;
   4use Aws\Exception\AwsException;     
   5               
   6$s3Client = new S3Client([          
   7    'version'     => 'latest',
   8    'region'      => 'bj',
   9    'credentials' => [
   10        'key'    => $ACCESS_KEY,
   11        'secret' => $SECRET_KEY,
   12    ],
   13    'endpoint' => 'https://s3.bj.bcebos.com',
   14    'signature_version' => 'v4',
   15]);
   16 
   17$buckets = $s3Client->listBuckets();
   18foreach ($buckets['Buckets'] as $bucket){
   19    echo $bucket['Name']."\n";
   20}

AWS Golang SDK

1. 安装

   Plain Text 复制

   1go get -u github.com/aws/aws-sdk-go

2. 使用AWS SDK for Golang访问Bos

   Plain Text 复制

   1import (
   2    "github.com/aws/aws-sdk-go/aws"                                            
   3    "github.com/aws/aws-sdk-go/aws/session"
   4    "github.com/aws/aws-sdk-go/service/s3"
   5    "github.com/aws/aws-sdk-go/aws/credentials"
   6)
   7conf := &aws.Config{
   8        Region:           aws.String("bj"),
   9        Endpoint:         aws.String("s3.bj.bcebos.com"),
   10        Credentials:      credentials.NewStaticCredentials($ACCESS_KEY, $SECRET_KEY,, ""),
   11    }
   12sess := session.Must(session.NewSessionWithOptions(session.Options{Config:*conf}))
   13svc := s3.New(sess)
   14getObjectParams := &s3.GetObjectInput{
   15        Bucket:             aws.String("my-bucket"), 
   16        Key:                aws.String("my-object"), 
   17}
   18getObjectResp, err := svc.GetObject(getObjectParams)
   19if err != nil {
   20    fmt.Println(err.Error())
   21    return
   22}

AWS CLI工具

1. 安装AWS CLI工具

   Plain Text 复制

   1pip install awscli

2. 使用AWS CLI访问BOS

• 编辑配置文件

  Plain Text 复制

  1$ aws configure
  2
  3AWS Access Key ID [Nonel: <access_key_id>
  4AWS Secret Access Key [Nonel: <access_key_secret>
  5Default region name [None]: auto
  6Default output format [Nonel: json

• 执行命令示例

  Plain Text 复制

  1aws s3api list-buckets --endpoint-url https://s3.bj.bcebos.com
  2aws s3api list-objects --bucket bucketname --endpoint-url https://s3.bj.bcebos.com

• 参考文档

https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-welcome.html

Hadoop S3A工具

S3A为hadoop官方提供的在hadoop系统中使用S3的工具包。通过S3A您可以像操作hdfs一样操作S3存储，目前BOS已经支持大部分常用的S3A的功能。关于S3A更为详细的介绍可参见：S3 Support in Apache Hadoop和Hadoop-AWS module: Integration with Amazon Web Services。

1. 下载依赖包

   • 确保hadoop系统中存在如下依赖包：

     • aws-java-sdk-1.11.82.jar
     • aws-java-sdk-core-1.11.82.jar
     • aws-java-sdk-kms-1.11.82.jar
     • aws-java-sdk-s3-1.11.82.jar

   • 使用BOS适用版Jar包：由于目前BOS对S3的部分功能暂未实现兼容，为了更好的产品体验，请务必使用该定制版的工具包。

     BOS适用版Jar包	MD5码
     hadoop-aws-2.8.0.jar	6ffbdc9352b9399e169005aeeb09ee98

2. 修改S3A的相关配置

   Plain Text 复制

   1<property>
   2	<name>fs.s3a.endpoint</name>
   3	<value>http://s3.bj.bcebos.com</value> 
   4</property> 
   5<property>
   6	<name>fs.s3a.signing-algorithm</name>
   7	<value>AWSS3V4SignerType</value>
   8</property>	
   9<!-- 开启bos后端接口-->
   10<property>
   11    <name>fs.s3a.bos.compat.access</name>
   12	<value>true</value>
   13</property>
   14<property>
   15<name>fs.s3a.access.key</name>
   16<value>$ACCESS_KEY</value>
   17</property>
   18<property>
   19<name>fs.s3a.secret.key</name>
   20<value>$SECRET_KEY</value>
   21</property>

3. 使用S3A在hadoop环境下体验BOS服务，执行命令

   Plain Text 复制

   1hadoop fs -ls s3a://$YOUR_BUCKET_NAME

4. 如何自行修改hadoop-aws

   （1）. 下载hadoop源码 （2）. 修改hadoop-2.8.0-src/hadoop-tools/hadoop-aws/src/main/java/org/apache/hadoop/fs/s3a/S3ClientFactory.java文件。由于BOS暂未支持Chunked Upload，而Java sdk默认写操作会使用该方式，所以需要在代码中关闭sdk的这个操作。

   Plain Text 复制

   1// 找到s3a使用的aws client,例如：
   2// 在createAmazonS3Client函数下的
   3// AmazonS3 s3 = new AmazonS3Client(credentials, awsConf);
   4// 为aws client添加禁止chunkedencoding
   5s3.setS3ClientOptions(new S3ClientOptions().withChunkedEncodingDisabled(true));

   (3). 编译得到jar包

   Plain Text 复制

   1cd hadoop-2.8.0-src/hadoop-tools/hadoop-aws
   2mvn package

CloudBerry Explorer for Amazon S3

CloudBerry Explorer for Amazon S3是CloudBerry Lab提供的S3图形化数据管理软件，图形化界面非常强大，支持数据从本地到云端的上传、下载、同步、删除等管理操作。

现在百度智能云也支持通过CloudBerry Explorer来管理BOS上的资源了！

1. 选择和您操作系统相匹配的软件版本，下载后安装软件。

   说明： 该软件支持免费和付费两个版本。您可以直接使用免费版本。

2. 安装完成后先配置云存储，选择“S3 Compatible”：

   

3. 添加新的S3 Compatible的账号，其中显示名可以填写BOS，服务点即BOS的服务域名，访问密钥和密码Key填写百度智能云的AK/SK。AWS S3兼容服务域名暂时不支持HTTPS，请去掉“使用SSL”的勾选，Signature version选4。

   

4. 点击“测试连接”测试连通性，显示“Connection success”表示连通成功。

5. 下面就可以使用CloudBerry Explorer进行各种数据管理啦！