Не такі часті питання з приводу Lustre

Такий собі Not so Frequently Asked Questions :-) 

Теми, які замалі для окремого поста, але все ж цікаві.
Оновлюватиметься в процесі появи нових питань-відповідей.

1. Більше одного MGS

Всюди в документації наголошується що на кластері повинен бути лише один MGS, який керуватиме інформацією про всі екземпляри Lustre. Взагалі це правильно. Однак іноді хочеться дане обмеження обійти, наприклад, щоб поекспериментувати. Невелике дослідження показало, що MGS може бути декілька за однієї умови. В кожен момент часу даний клієнт може користуватися тільки одним MGS (а відповідно лише файловими системами (ФС), що належать йому). 

Повідомляється, що на одному вузлі монтували ФС з різних MGS, однак назвати таку роботу нормальною ніяк не можна -- при звертанні до ФС одного з MGS, зі всіх ФС, що належать іншим, він викидається. (Це особливість реалізації клієнтської частини -- вона знає тільки один MGS в будь-який конкретний момент часу).  В результаті клієнти їх не інформуватимуться про зміни ФС, включаючи такі масштабні, як зникнення та додавання OSS. 

Див. також обговорення цього питання за участю фахівців: [Lustre-discuss] MGS - one per site.

2. Квоти та MDS

В документації по квотах Lustre 2.0 (станом на серпень 2011) є доволі груба помилка. Для ввімкнення підтримки квот на MDS служить підсистема MDD (а не MDT, як написано в документації). Тому слід писати mdd.quota_type (!) а не mds.quota_type. При чому, якщо написати не те, то помилки будуть дуже дивними, поведінка - непослідовною. (Аж до того, що іноді MDT монтуватиметься, а іноді - ні).

Згадується про це тут: [Lustre-discuss] lustre 2.0 interop issue. Однак, обіцянку Johann Lombardi "I'll make sure the documentation is updated" все ще не виконано. (Точніше, обговорюється там тема оновлення, але це єдине місце де я знайшов згадку про оте mdd.quota_type).

Про те, що таке MDD, див. "Subsystem Map". Приклад налаштування квот - див. тут.

3. Перевірка зв'язку між вузлами Lustre

Команда  lctl ping node-ip@<interface> тестує зв'язок між вузлами через мережевий інтерфейс Люстри LNET, наприклад:

[node]# lctl ping 192.168.1.123@tcp0

12345-0@lo
12345-192.168.1.123@tcp

На жаль, сприймає тільки IP-адреси, а не hostname.