Site is under maintenance mode. Please wait few min!
Saltar al contenido

Cómo usar el IRB para explorar el rubí

marzo 4, 2020

 Espacios

Introducción

digitalocean es un servicio de almacenamiento objeto diseñado para que sea fácil y rentable para almacenar y servir grandes cantidades de datos. Si ha confiado en los otros servicios de almacenamiento de objetos, la migración de datos a los espacios puede ser una de sus primeras tareas.

En esta guía, vamos a cubrir cómo migrar los datos a los espacios digitalocean de servicio de almacenamiento S3 de Amazon bloque utilizando la utilidad rclone. Vamos a demostrar cómo instalar rclone, los ajustes de configuración a utilizar para acceder a ambos servicios de almacenamiento, y los comandos que se pueden utilizar para sincronizar sus archivos y verificar su integridad dentro de los espacios.

Creación de claves de la API y la búsqueda de Cubo Propiedades

Antes de empezar la instalación y configuración rclone copiar nuestros objetos a los espacios, que necesitará un poco de información acerca de nuestras cuentas Espacios Amazon S3 y digitalocean. Vamos a necesitar un conjunto de claves de la API para los servicios que la herramienta se puede utilizar y necesitaremos conocer los valores de restricción de la región y la ubicación de nuestros cubos.

la generación de una clave de API Espacios digitalocean y encontrar el punto final de la API

Para crear una clave de API de espacios digitalocean, siga la sección “Creación de una clave de acceso” de nuestra cómo crear un espacio digitalocean y clave de API tutorial.

Guardar el ID de clave de acceso y la clave secreta para que podamos configurar rclone acceder a nuestra cuenta.

A continuación, tenemos que encontrar el punto final de la API apropiado. Si ya ha creado un espacio digitalocean que desea transferir los objetos a, puede ver el punto final del espacio dentro del panel de control digitalocean seleccionando el espacio y viendo la ficha Ajustes :

Si no ha creado un espacio sin embargo, rclone puede crear automáticamente el espacio selecciona como parte del proceso de copia. El criterio de valoración en ese caso sería la región de espacios que desea utilizar seguido por .digitaloceanspaces.com. Puede encontrar las regiones disponibles para Espacios en el panel de control digitalocean mediante la visualización de las opciones de selección en la página de creación de espacios. En el momento de escribir estas líneas sólo la región “nyc3” está disponible (con punto final de nyc3.digitaloceanspaces.com).

la generación de una clave de API de Amazon S3

Si aún no dispone de una clave de API de Amazon con permiso para administrar los activos S3, tendrá que generar los que ahora. En su AWS Management Console, haga clic en el nombre de cuenta y seleccione Credenciales mi seguridad desde el menú desplegable:

A continuación, seleccione Usuarios en el menú de la izquierda y haga clic en el botón Añadir usuario :

Introduzca un nombre de usuario y seleccione programático acceso en la sección tipo acceso. Haga clic en el siguiente: botón Permisos para continuar:

En la página siguiente, seleccione el Adjuntar políticas existentes directamente opción en la parte superior y escriba s3read en el filtro tipo Política . Marque la casilla de la política AmazonS3ReadOnlyAccess y luego haga clic en el siguiente: Botón de revisión para continuar:

revisión de los datos de usuario en la página siguiente y haga clic en el botón Crear usuario cuando esté listo:

en la última página, verá las credenciales para el nuevo usuario. Haga clic en el enlace Mostrar bajo la clave de acceso Secreto columna para ver las credenciales:

copiar la clave Acceso ID y la clave de acceso Secreto algún lugar seguro, de forma que se puede configurar rclone utilizar esas credenciales . También puede hacer clic en el botón Descargar .csv para guardar las credenciales a su ordenador.

Encontrar el S3 Bucket región amazónica y Ubicación Restricciones

Ahora, tenemos que encontrar los valores de restricción de la región y la ubicación para nuestra depósito de S3.

click Servicios en el menú superior y escriba S3 en la barra de búsqueda que aparece. Seleccione el servicio S3 para ir a la consola de administración S3 .

Tenemos que buscar el nombre de la región de la cubeta deseamos transferencia. La región se mostrará junto al nombre de depósito:

tenemos que encontrar la cadena de región y la restricción ubicación coincidente asociada con la región de nuestro cubo. Busque el nombre de la región de su cubo en esta gráfica región S3 de Amazon para encontrar las secuencias de región y de restricción apropiadas ubicación. En nuestro ejemplo, el nombre de nuestra región es “Este de Estados Unidos (N. Virginia)”, por lo que nosotros-este-1 como la cadena de región y nuestra ubicación restringe usaríamos sería en blanco.

Ahora que tenemos la información adecuada de nuestra cuenta de Amazon, podemos instalar y configurar rclone el uso de esta información.

Instalar rclone en su ordenador local

Ahora está listo para instalar rclone en su computadora local.

Visita la sección de Descargas de la página web del proyecto para encontrar los binarios de la utilidad compilado para diferentes plataformas. Descargar el binario comprimido que coincide con el sistema operativo de su ordenador a su directorio Descargas para empezar.

Una vez que tenga el archivo zip descargado rclone a su equipo, siga la siguiente sección que corresponda a su plataforma.

Linux

Antes de que podamos extraer el archivo, que tendrá que asegurarse de que la utilidad de descompresión está disponible.

Si está ejecutando Ubuntu o Debian , se puede actualizar el índice local de paquetes e instalar descomprimir escribiendo:

sudo apt-get update
sudo apt-get install unzip

  • sudo apt-get update
  • sudo apt-get install unzip

Si está corriendo CentOS o Fedora , puede instalar descomprimir escribiendo:

sudo yum install unzip

  • sudo yum install unzip

con descomprimir instalado, vaya al directorio donde descargó el archivo rclone postal:

cd ~/Downloads

  • cd ~ / descargas

a continuación, descomprimir el archivo y se mueven en el nuevo directorio:

unzip rclone*
cd rclone-v*

  • descomprimir rclone *
  • cd rclone-v *

a partir de aquí, podemos copiar el binario en el directorio / usr / local / bin por lo que está disponible en todo el sistema:

sudo cp rclone /usr/local/bin

  • sudo rclone cp / usr / local / bin locales

a continuación, se puede añadir la página del manual para el sistema de modo que podemos obtener fácilmente ayuda en el comando syn impuestos y las opciones disponibles. Asegúrese de que el directorio local manual requerimos está disponible y luego copiar el archivo rclone.1:

sudo mkdir -p /usr/local/share/man/man1
sudo cp rclone.1 /usr/local/share/man/man1

  • sudo mkdir -p / usr / local / share / man / man1
  • sudo cp rclone.1 / / usr / local share / man / man1

actualización de la base de datos hombre para añadir la nueva página del manual para el sistema:

sudo mandb

  • sudo mandb

por último, se puede crear el directorio de configuración y abrir un archivo de configuración para definir nuestra S3 y espacios credenciales:

mkdir -p ~/.config/rclone
nano ~/.config/rclone/rclone.conf

  • mkdir -p ~ / .config / rclone
  • nano ~ / .config / rclone / rclone.conf

Esto abrirá el editor de texto con un nuevo archivo en blanco. Avance a la sección en la definición de sus cuentas de almacenamiento de objetos para continuar.

macOS

Si está ejecutando MacOS, comience por navegar en la terminal al directorio donde descargó el archivo rclone postal:

cd ~/Downloads

  • cd ~ / Descargas

A continuación, descomprimir el archivo y se mueven en el nuevo directorio nivel:

unzip -a rclone*
cd rclone-v*

  • descomprimir -a rclone *
  • cd rclone-v *

A continuación, asegúrese de que el directorio / bin / usr / local está disponible y luego mover el rclone dentro binaria:

sudo mkdir -p /usr/local/bin
sudo cp rclone /usr/local/bin

  • sudo mkdir – p / usr / local / bin locales
  • sudo rclone cp / usr / local / bin

por último, podemos crear el directorio de configuración y abrir un archivo de configuración para definir nuestras credenciales S3 y espacios:

mkdir -p ~/.config/rclone
nano ~/.config/rclone/rclone.conf

  • mkdir -p ~ / .config / rclone
  • nano ~ / .config / rclone / rclone.conf

Esto abrirá el editor de texto con un nuevo archivo en blanco. Avance a la sección en la definición de sus cuentas de almacenamiento de objetos para continuar.

de Windows

Si está ejecutando Windows, comience por navegar en el directorio Descargas en el Explorador de archivos de Windows. Seleccione el archivo zip y rclone botón derecho del ratón. En el menú contextual que aparece, haga clic Extraer todo … :

Siga las instrucciones para extraer los archivos del archivo zip.

La utilidad rclone.exe debe ejecutarse desde la línea de comandos. Abrir una nueva Símbolo del sistema (el cmd programa .exe) ventana haciendo clic en el botón de Windows en la esquina inferior izquierda, escribir cmd , y seleccionando Símbolo del sistema .

interior, vaya a la ruta rclone extrajo escribiendo:

cd "%HOMEPATH%Downloadsrclone*rclone*"

  • cd «% HOMEPATH% Descargas rclone * rclone *»
  • Lista

el contenido del directorio para verificar que usted está en la ubicación correcta:

dir

  • dir

Output10/23/2017 01:02 PM

.
10/23/2017 01:02 PM
..
10/23/2017 01:02 PM 17 git-log.txt
10/23/2017 01:02 PM 296,086 rclone.1
10/23/2017 01:02 PM 16,840,192 rclone.exe
10/23/2017 01:02 PM 315,539 README.html
10/23/2017 01:02 PM 261,497 README.txt
5 File(s) 17,713,331 bytes
2 Dir(s) 183,296,266,240 bytes free

usted tendrá que estar en este directorio cada vez que desee utilizar el comando rclone.exe.

Nota: en MacOS y Linux, se ejecuta la herramienta por rclone escribir, pero en Windows, el comando se llama rclone.exe. A lo largo del resto de esta guía, vamos a proporcionar comandos como rclone, así que asegúrese de sustituto rclone.exe cada vez que se ejecuta en Windows.

A continuación, podemos crear el directorio de configuración y abrir un archivo de configuración para definir nuestras credenciales S3 y espacios:

mkdir "%HOMEPATH%.configrclone"
notepad "%HOMEPATH%.configrclonerclone.conf"

  • mkdir «% HOMEPATH% config rclone.»
  • notepad «% HOMEPATH% config . rclone rclone.conf»

Esto abrirá el editor de texto con un nuevo archivo en blanco. Continuar por delante para aprender a definir sus cuentas de almacenamiento de objetos en el archivo de configuración.

configurar las cuentas del S3 y Espacios

Podemos definir nuestra configuración de los espacios Amazon S3 y digitalocean en el nuevo archivo para que rclone puede administrar el contenido entre las dos cuentas. inicio de

Let definiendo nuestra cuenta S3. Pega la siguiente sección en el archivo de configuración:

[s3]
type = s3
env_auth = false
access_key_id = aws_access_key
secret_access_key = aws_secret_key
region = aws_region
location_constraint = aws_location_constraint
acl = private

Aquí, definimos una nueva rclone “a distancia” llamada s3. Hemos establecido el tipo de s3 para que rclone conoce el camino adecuado para interactuar y gestionar los recursos de almacenamiento remoto. Vamos a definir las credenciales S3 en el archivo de configuración en sí, por lo que establecer env_auth a falso.

A continuación, se establece la access_key_id y las variables secret_access_key a nuestra clave de acceso y clave secreta S3, respectivamente. Asegúrese de cambiar los valores de las credenciales S3 asociados a su cuenta.

Hemos establecido la restricción de la región y la ubicación de acuerdo a las propiedades de nuestro depósito de S3 que hemos encontrado en el cuadro región amazónica. Por último, seleccionamos una política de control de acceso a “privado” para que los activos no son públicos por defecto.

Ahora, podemos definir una sección similar para nuestra configuración de los espacios digitalocean. Pega la siguiente sección en el archivo de configuración:

. . .

[spaces]
type = s3
env_auth = false
access_key_id = spaces_access_key
secret_access_key = spaces_secret_key
endpoint = nyc3.digitaloceanspaces.com
acl = private

En esta sección, estamos definiendo un nuevo remoto llamado “espacios”. Una vez más, estamos estableciendo el tipo de s3 desde Spaces ofrece una API compatible con S3. Apagamos env_auth por lo que podemos definir las credenciales de los espacios dentro del archivo de configuración.

A continuación, se establece la access_key_id y las variables secret_access_key a los valores generados por nuestra cuenta digitalocean. Hemos establecido el punto final a los espacios apropiados de punto final se determinó anteriormente. Por último, nos fijamos el acl de nuevo privada para proteger nuestros activos hasta que queramos compartir.

Guardar y cerrar el archivo cuando haya terminado.

en MacOS y Linux, asegúrese de bloquear los permisos del archivo de configuración, dado que nuestras credenciales están en el interior:

chmod 600 ~/.config/rclone/rclone.conf

  • chmod 600 ~ / .config / rclone / rclone.conf

En Windows, los permisos se les niega a los usuarios no administrativos, salvo que obtengan de forma explícita, así que no debería tener que ajustar manualmente el acceso.

copiar objetos de S3 a Espacios

Ahora que nuestra configuración, estamos listos para transferir nuestros archivos.

comenzar por revisarse los mandos a distancia rclone configurado:

rclone listremotes

  • rclone listremotes

Outputs3:
spaces:

Tanto de las secciones que se muestran definido.

Podemos ver los cubos S3 disponibles preguntando rclone a la lista de los “directorios” asociados con el s3 remoto (asegúrese de agregar los dos puntos al final del nombre remoto):

rclone lsd s3:

  • rclone lsd s3:

Output -1 2017-10-20 15:32:28 -1 source-of-files

Lo anterior indica que la salida de un cubo, llamado fuente de archivos se encontró en nuestra cuenta de S3.

Si ya ha creado un espacio digitalocean, se puede repetir el procedimiento para ver sus espacios: los espacios rclone lsd

rclone lsd spaces:

  • :

Output -1 2017-10-25 19:00:35 -1 existing-space

Para ver el contenido de un contenedor de S3 o Espacio digitalocean, puede utilizar el árbol mando. Pase el nombre remoto, seguido de dos puntos y el nombre del “directorio” desea la lista (el cubo o el nombre de Espacio):

rclone tree s3:source-of-files

  • s3 árbol rclone: ​​fuente-de-archivos

Output/
├── README.txt
├── demo_dir
│ ├── demo1
│ └── demo2
└── media
├── Social Rebrand Presentation 032815.ppt
├── TechnicLauncher.jar
├── nda_template.docx
├── textfile.txt
└── the_mother_of_all_demos.mp4

2 directories, 8 files

Cuando esté listos, se pueden copiar los archivos desde el depósito de S3 a un espacio digitalocean escribiendo:

rclone sync s3:source-of-files spaces:dest-of-files

  • rclone sincronización S3: espacios fuente-de-archivos: dest-de-archivos

Si no hubiera creado previamente el Espacio que ha seleccionado, rclone intentará crear uno para usted con el nombre dado. Esto producirá un error si el nombre proporcionado ya está siendo utilizada por otra cuenta o si el nombre no cumple con los requisitos de denominación de los espacios digitalocean (letras minúsculas, números, y sólo los guiones).

Suponiendo que todo ha ido bien, rclone comenzará a copiar objetos de S3 a los espacios.

Cuando se complete la transferencia, se puede comprobar visualmente que los objetos han transferido viéndolas con el subcomando árbol: espacios de árboles rclone

rclone tree spaces:dest-of-files

  • : dest-de-archivos

Output/
├── README.txt
├── demo_dir
│ ├── demo1
│ └── demo2
└── media
├── Social Rebrand Presentation 032815.ppt
├── TechnicLauncher.jar
├── nda_template.docx
├── textfile.txt
└── the_mother_of_all_demos.mp4

2 directories, 8 files

Para la verificación más robusto, utilice el cheque subcomando para comparar los objetos en ambos mandos a distancia:

rclone check s3:source-of-files spaces:dest-of-files

  • cheque rclone s3: espacios fuente-de-archivos: dest-de-archivos

Output2017/10/25 19:51:36 NOTICE: S3 bucket dest-of-files: 0 differences found
2017/10/25 19:51:36 NOTICE: S3 bucket dest-of-files: 2 hashes could not be checked

Esto comparar los valores hash de cada objeto en ambos mandos a distancia. Es posible que reciba un mensaje que indica que algunos valores hash no pudieron ser comparados. En ese caso, puede volver a ejecutar el comando con la bandera de sólo –size (que solo se compara en función del tamaño del archivo) o la bandera –download (que descarga cada objeto de ambos mandos a distancia para comparar localmente) para verificar la integridad de transferencia.

Conclusión

En esta guía, hemos cubierto cómo transferir objetos de Amazon S3 para espacios digitalocean. Hemos creado credenciales de API para ambos servicios, instalado y configurado la utilidad rclone en nuestro equipo local y, a continuación, todos los objetos copiados desde un depósito de S3 a un espacio digitalocean.

El cliente rclone se puede utilizar para muchas otras tareas de administración de almacenamiento de objetos, incluyendo archivos de carga o descarga, cubos de montaje en el sistema de archivos local, y la creación o eliminación de cubos adicionales. Echa un vistazo a la página del manual para aprender más acerca de la funcionalidad de la herramienta proporciona.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *