Distribuovany disk

Zdravim, jsem stastnym majitelem uz 3 turrisu a rad bych si z nich udelal neco jako diskovy cluster - predstava je ze ke kazdemu bych pripojil disk(y) a neco jako hdfs by mi je spojilo, zaridilo redundancy a health monitoring a access rights validation. Mam zkusenosti pouze s hadoopem ale prijde mi to pro me ucely jako overkill tak se chci zeptat na doporuceni na neco vice lightweight, idealne co uz je soucasti turris repozitare i pro modrak. Díky

Je otazka co je presne cielom, na sync v style “dropbox” je https://syncthing.net/ ale neviem ci je na modraka, mam len omniu.

Bohužel není na modráka (tak jako není LibreSpeed). Problém je v interpretu Go, který pro architekturu PPC SPE není k dispozici.

Diky za tip, myslim ze na omnii by se mi to taky hodilo.
Nicmene ten mirroring jsem pochopil ze je 1:1 a muj use case pro hdfs by vypadal i napriklad tak ze data budou replikovana na node 2 a 3 a nod 1 je bude cist i kdyz na nem nebudou. Nebyl by nejaky napad i na tuhle situaci?

Myslim ze plne funkcne hdfs na turris asi nebude.
Jedine co ma napada je syncthing medzi node2/3 a na node1 spravit mount cez sshfs, sshfs nesychronizuje data, ale dodava je on-demand (e.g. samba/cifs ale cez ssh(sftp) protokol).

Jediny problem je ze sshfs default ma pripojenie len na 1 IP, takze ak bude pripojene na node1 a ta padne tak treba rucne pripojit na node2 alebo vymysliet script ktory to urobi.

Pripadne sa da potom rozmyslat o keepalived/haproxy ale to je uz nieco co treba poznat cely environment.

Pali mi psal, že posílal @miska e-mail s tím, že by mělo být možné buildit go kompilátor a tedy možná by i LibreSpeed mohl být na modrákovi. :eyes:

2 Likes

Vůbec netuším, jestli jsou k dispozici i balíčky pro Turris, ale když jsem to řešil pro můj RPi cluster, tak nejlíp mi vyšlel Gluster a MinIO.
Oba jsou opravdové distribuované souborové systémy, ne jen synchronizace jako Syncthing (ten mám rád, ale pro jiné účely) a nejsou moc náročné na zdroje.

1 Like

@jschvab povedlo se ti neco takoveho rozchodit ?

premyslim neco takoveho zkusit, treba by byla moznost pustit neco v lxc kontejneru na kazdem zarizeni