Wie man die EO Daten Repositories von CODE-DE und EO-Lab mit S3FS einbindet (Linux)

Die CODE-DE und EO-Lab EO Daten Repositories sollten bei neuen Linux VM’s bereits vorinstalliert sein. Sollte dies nicht der Fall sein, können sie über die s3-Schnittstelle mit dem Befehl s3fs in die VM eingebunden werden.

Achtung

Ihre virtuelle Maschine muss im Projekt mit EO DATA gestartet werden.

Installation von S3FS

Achtung

s3fs sollte auf Ihrer Linux VM vorinstalliert sein. Fall das nicht der Fall ist, gehen Sie wie folgt vor:

Für Ubuntu/Debian

# Install git
apt-get update
apt-get --yes install git
# Install required tools and libraries
apt-get --yes install automake autotools-dev fuse g++ git libcurl4-openssl-dev libfuse-dev libssl-dev libxml2-dev make pkg-config

Für CentOS/RedHAT

yum update
yum install git
yum install automake fuse fuse-devel gcc-c++ git libcurl-devel libxml2-devel make openssl-devel

git clone https://github.com/CloudFerro/s3fs-fuse.git
cd s3fs-fuse/
./autogen.sh
./configure
make
# Install s3fs
make install

Einhängen der CODE-DE oder EO-Lab Repositories mit s3fs

Zunächst müssen Sie im EO-Lab-Tenant-Manager einen Zugangsschlüssel und einen geheimen Schlüssel generieren oder bestehende auswählen (https://tenant-manager.eo-lab.org/panel/credentials).

../_images/s3_credentials.png

ACCESS_KEY und SECRET_KEY geben Sie bitte in eine Passwortdatei ein:

# Prepare configuration for EO Data
echo ACCESS_KEY:SECRET_KEY >  ~/.passwd-s3fs
chmod 600 ~/.passwd-s3fs


# Add new entry to mount /codede over s3fs
echo s3fs#CODEDE /codede fuse passwd_file=/root/.passwd-s3fs,_netdev,allow_other,use_path_request_style,uid=0,umask=0222,mp_umask=0222,gid=0,url=http://data.cloud.code-de.org/ 0 0 >> /etc/fstab

# Add new entry to mount /codede over s3fs
echo s3fs#CODEDE /eolab fuse passwd_file=/root/.passwd-s3fs,_netdev,allow_other,use_path_request_style,uid=0,umask=0222,mp_umask=0222,gid=0,url=http://data.fra1-1.cloudferro.com/ 0 0 >> /etc/fstab


# Modify /etc/updatedb.conf to exclude s3fs mounts from indexing
sed -i 's/PRUNEPATHS="/\PRUNEPATHS="\/eodata /g; s/PRUNEFS="/PRUNEFS="s3fs /g' /etc/updatedb.conf

  1. Einhängen von /eodata mit s3fs

# Einhängen der Verzeichnisse /codede und/oder /eolab
umount -lf /codede
mount /codede
umount -lf /eolab
mount /eolab

Der gesamte Einhängevorgang erfolgt bei jedem Neustart der VM automatisch. Wenn Sie nicht möchten, dass dies automatisch geschieht, fügen Sie einfach die Option noauto in die Datei /etc/fstab ein.

s3fs#DIAS   /codede fuse    noauto,_netdev,allow_other,use_path_request_style,uid=0,umask=0222,mp_umask=0222,mp_umask=0222,gid=0,url=http://data.cloud.code-de.org,use_cache=1,max_stat_cache_size=60000,list_object_max_keys=10000,comment=cloudconfig    0   0