搜索本产品文档关键词
部署方式
所有文档
menu

BOS 对象存储

部署方式

BosImport工具主要包括server和client两部分。

  • 对于小于30TB的小规模数据迁移,client和server可以运行在同一个机器上,修改client.properties文件,然后直接sh start_migration.sh启动迁移即可。
  • 对于大规模的数据迁移,或者需要提高迁移速度,可以部署多个server到多台机器上,client通过serverList配置多个server,并根据负载选择一个合适的server进行迁移,从而提高迁移效率。

注意事项

  1. 单机可以开多个server进程,但是需要注意server/logs文件夹占用空间大小;
  2. server进程线程数需要根据机器CPU核数调整到合适数目,maxConnectionsPerServer建议设置为1,否则fail出现次数容易比较多。

部署server

  1. 修改server的配置文件 server.properties, 主要修改监听端口号;
  2. 如果需要多个server并发迁移,可以批量复制server文件夹到用于迁移的多台机器上;
  3. 执行sh start_server.sh启动server,通过检查server进程是否监听了指定端口来判断是否已经成功启动server。

部署client

修改client.properties文件对client进行配置, 主要配置项包括

  1. 迁移类型:type,迁移名称:migrationName
  2. server响应单次请求所使用的并发数:serverThreadNum
  3. 单次请求文件数量: filesPerRequest
  4. 任务列表: taskList
  5. 文件列表:listDelimiter, 指定文件列表的表示形式: listFormat
  6. 源端目的端ak, sk, endpoint等信息
  7. 迁移策略:migrationStrategy
  8. 切块大小: blockSize, 默认5MB,因为BOS分块上传时Part数目范围是1-10000,blockSize=5MB时可以上传的单个Object最大为50GB,迁移大文件时需要调大该参数,Part数目在1000以内较佳。

启动迁移

server和client单机部署时,执行sh start_migration.sh脚本启动server和client,系统根据client.properties文件中配置的文件列表迁移数据;如果server部署到了多台机器上,需要在每台机器上分别执行sh start_server.sh启动server进程。

停止迁移

执行sh stop_migration.sh脚本停止server和client。如果server部署到了多台机器上,需要在每台机器上分别执行sh stop_server.sh停止server进程。

上一篇
概述
下一篇
配置文件