Zdravim, jsem stastnym majitelem uz 3 turrisu a rad bych si z nich udelal neco jako diskovy cluster - predstava je ze ke kazdemu bych pripojil disk(y) a neco jako hdfs by mi je spojilo, zaridilo redundancy a health monitoring a access rights validation. Mam zkusenosti pouze s hadoopem ale prijde mi to pro me ucely jako overkill tak se chci zeptat na doporuceni na neco vice lightweight, idealne co uz je soucasti turris repozitare i pro modrak. Díky
Je otazka co je presne cielom, na sync v style “dropbox” je https://syncthing.net/ ale neviem ci je na modraka, mam len omniu.
Bohužel není na modráka (tak jako není LibreSpeed). Problém je v interpretu Go, který pro architekturu PPC SPE není k dispozici.
Diky za tip, myslim ze na omnii by se mi to taky hodilo.
Nicmene ten mirroring jsem pochopil ze je 1:1 a muj use case pro hdfs by vypadal i napriklad tak ze data budou replikovana na node 2 a 3 a nod 1 je bude cist i kdyz na nem nebudou. Nebyl by nejaky napad i na tuhle situaci?
Myslim ze plne funkcne hdfs na turris asi nebude.
Jedine co ma napada je syncthing medzi node2/3 a na node1 spravit mount cez sshfs, sshfs nesychronizuje data, ale dodava je on-demand (e.g. samba/cifs ale cez ssh(sftp) protokol).
Jediny problem je ze sshfs default ma pripojenie len na 1 IP, takze ak bude pripojene na node1 a ta padne tak treba rucne pripojit na node2 alebo vymysliet script ktory to urobi.
Pripadne sa da potom rozmyslat o keepalived/haproxy ale to je uz nieco co treba poznat cely environment.
Pali mi psal, že posílal @miska e-mail s tím, že by mělo být možné buildit go kompilátor a tedy možná by i LibreSpeed mohl být na modrákovi. 
2 Likes
Vůbec netuším, jestli jsou k dispozici i balíčky pro Turris, ale když jsem to řešil pro můj RPi cluster, tak nejlíp mi vyšlel Gluster a MinIO.
Oba jsou opravdové distribuované souborové systémy, ne jen synchronizace jako Syncthing (ten mám rád, ale pro jiné účely) a nejsou moc náročné na zdroje.
1 Like
@jschvab povedlo se ti neco takoveho rozchodit ?
premyslim neco takoveho zkusit, treba by byla moznost pustit neco v lxc kontejneru na kazdem zarizeni
Napadlo me ze bych mohl napsat co jsem vlastne za ten rok vyzkousel:
- kompliace pro modrak - udelal jsem jeden hello-world example balicek ale pak uz jsem v navodu trochu ztratil s tim jak resit zavislosti (kazdy DFS pouziva hromadu externich knihoven a pres jejich build uz jsem se neprokousal - tady bych asi ocenil kdyby me nekdo odkazal na naky lepsi navod ale ciste objemem se mi to zdalo jako prace pro jednovyvojare aspon na mesic)
- v ubuntu kontejneru na omnii jsem spustil Tahoe-LAFS - nelibilo se mi na tom ze prenosova rychlost nebyla nic moc a soubory jsou na discich skladovany v ‘necitelne’ podobe (ie kdyz disk zhavaruje/odpojite ho z FS tak nej bez specialnich nastroju nejde nic precist)
- na ubuntu (na jine ARM-desce) jsem spustil greyhole - to neni DFS, spis takovy chytry replikator na vice disku - chybi mi tam distribuovanost (ie aby nebyl single-point of failure) a chybi mi tam cteni z vice disku zaroven - jinak se mi to reseni docela libi a je i primerene jednoduche (protoze to hodne pouziva sambu)