Блочная дедупликационная файловая система

8

Я ищу дедуплицирующее решение для файловой системы с копированием на запись для общих пользовательских данных, таких как /home и резервные копии. Он должен использовать онлайн-inline / синхронную дедупликацию на уровне блока с использованием безопасного хэширования (для незначительной вероятности столкновений), таких как SHA256 или TTH . Дублированные блоки не должны даже касаться диска.

Идея заключается в том, что я должен просто скопировать /home/<user> на внешний жесткий диск с такой же файловой системой, чтобы сделать резервную копию. Просто. Не вмешиваться с инкрементными резервными копиями, где повреждение любого из снимков почти всегда прерывает все последующие снимки, и нет необходимости использовать специальный инструмент для удаления или «checkout» моментального снимка. Все должно быть просто сделано из браузера файлов, не беспокоясь. Можете ли вы представить, насколько это было бы легко? Мне никогда не придется дважды думать о резервном копировании!

Я не возражаю против производительности, надежность - это главная проблема. Хотя при определенных реализациях cp , mv и scp и плагина для браузера файлов эти операции выполнялись бы очень быстро, особенно при многократном дублировании, поскольку им нужно было бы передавать отсутствующие блоки. Случайно использование обычных инструментов копирования, которые не интегрируются с FS, просто занимало бы больше времени, теряя некоторую пропускную способность при копировании удаленно и отбрасывая некоторый процессор, поскольку дублированные данные будут перечитываться, повторно передаваться и повторно хешироваться (хотя ничто не было бы переписан), но абсолютно не ничего не испортил. (Некоторое программное обеспечение для обмена файлами также может быть полезным, интегрируясь с FS.)

Так что лучший способ сделать это?

Я просмотрел несколько вариантов:

  • lessfs - выглядит бесполезно. Любое хорошее?
  • Opendedup / SDFS - Java? Могу ли я использовать это на Android ?! Что означает SDFS ?
  • Btrfs - Некоторые исправления, плавающие в архивах списков рассылки, но не имеющие реальной поддержки.
  • ZFS - Будем надеяться, что они будут в один прекрасный день пользоваться лицензией под лицензией Free / Opensource GPL.

Кроме того, 2 года назад я попытался использовать Python, используя Fuse на уровне файла, который будет использоваться поверх типичной твердотельной FS, такой как EXT4, но я обнаружил, что Fuse for Python недокументирован и не сделал управлять всеми системными вызовами.

    
задан James Haigh 10.06.2012 в 20:51
источник

2 ответа

1

Это звучит очень корпоративно (как в дорогом).

datadomain предлагает дедупликацию данных и, возможно, netapp с их файловой системой wafl. Но по высокой цене.

«Свободной» альтернативой может быть zfs.

По словам меня, хотя «лучшая» и самая Linuxy альтернатива, хотя на уровне файла вместо «уровня блока» будет rsnapshot. Он использует rsync и hardlinks для управления версиями.

Я скорее доверяю старым проверенным инструментам, чем использованию новых файловых систем, таких как Btrfs, которые не были достаточно долго, чтобы люди могли обнаружить всевозможные неприятные ошибки.

    
ответ дан tomodachi 10.06.2012 в 21:43
источник
1

Я ищу и исследую то же самое, я мог бы предложить Ссылка на данный момент, похоже быть спокойным простым и удобным для резервного копирования Linux.

Существует также бакула с этой функцией, но чердак, по-видимому, достаточно хорош для большинства случаев.     

ответ дан pablodav 21.11.2014 в 16:18
источник

Ознакомьтесь с другими вопросами по меткам