Компания XTX Markets открыла исходный код файловой системы TernFS, спроектированной для создания распределённого хранилища, охватывающего несколько территориально разделённых датацентров и способного хранить до десятков эксабайт данных, триллионов файлов и сотен миллиардов каталогов, с которыми могут одновременно взаимодействовать миллионы клиентов. Код проекта написан на языках С++ и Go и распространяется под лицензией GPLv2. Спецификации протокола и клиентские библиотеки поставляются под лицензией Apache 2.0.
ФС оптимизирована для нагрузок, свойственных системам машинного обучения – запись и чтение файлов, не изменяемых после создания и содержащих больше нескольких мегабайт данных. ФС не рассчитана на частое создание новых каталогов и частое перемещение файлов между каталогами. Присутствуют возможности как для восстановления удалённых по ошибке файлов или каталогов, так и для настройки политик полного безвозвратного удаления. Содержимое ФС может реплицироваться между несколькими датацентрами в разных регионах. Узлы хранения могут включать различные типы накопителей (на основе дисков и flash-памяти).
Одним из требований при проектировании было отсутствие единой точки отказа и обеспечение высокой надёжности хранения – аварийные отключения питания не должны приводить к повреждению ФС, а файлы не могут оказаться записанными частично (для чтения доступны только полностью записанные файлы). Система устойчива к выходу из строя отдельных накопителей, узлов с метаданными и узлов хранения. Возможно выполнение обслуживания хранилища без остановки работы.
Внедрение хранилища на базе TernFS в компании XTX Markets началось летом 2023 года, после полутора лет разработки ФС. В середине 2024 года все системы машинного обучения XTX Markets были переведены на TernFS. В настоящее время хранилище образует более 30 тысяч дисков и 10 тысяч Flash-накопителей, размещённых в трех датацентрах. Общий объём хранимых данных оценивается в 500 петабайт, а пиковая производительность – несколько петабайт в секунду. Хранилище используется в кластере, насчитывающем более 100 тысяч вычислительных узлов. Инцидентов, приводящих к потере данных, за два года эксплуатации не случалось.
Среди ограничений TernFS: записанные файлы не могут быть изменены; низкая эффективность работы с файлами размером меньше 2 МБ; низкая производительность операции создания и удаления каталогов; отсутствие разделения прав доступа.
Компоненты, образующие кластер хранения TernFS:
- Узлы хранения метаданных, отвечающие за управление информацией о структуре каталогов и атрибутов файлов.
- Узлы координации работы (CDC – Cross-Directory Coordinator), выполняющие транзакции охватывающие разные каталоги.
- Сервисы хранения, обеспечивающие хранение содержимого файлов.
- Реестр, содержащий информацию о всех остальные сервисах и выполняющий мониторинг за их работой.
- Клиентские службы для обращения пользователей к ФС:
- ternweb – для доступа к хранилищу через Web API.
- terncli – интерфейс командной строки.
- ternfs.ko – модуль для ядра Linux, позволяющий монтировать хранилище для работы как с локальной ФС.
- ternfuse – реализация клиента для работы с ФС, использующая подсистему FUSE.
- terns3 – реализация API Amazon S3.
- Фоновые процессы:
- GC – сборщик мусора, освобождающий просроченные снапшоты (удалённые, но не очищенные файлы) и очищающий блоки для необратимо удаляемых файлов.
- scrubber – выявление деградации данных и восстановление.
- migrator – исключение из хранилища сбойных дисков.