FAQ з практичної реалізації RAID

FAQ з практичної реалізації RAID

Коли потрібен RAID?



Що таке «RAID»?
Які існують рівні RAID і який з них вибрати?
Який спосіб реалізації RAID - програмний або апаратний?
Як вибрати модель RAID-контолера?
Що, крім контролера, необхідно для практичної реалізації RAID?
Глосарій за RAID технологією.


Коли потрібен RAID?

Якщо Ви зацікавилися цією статтею, то Ви, мабуть, зіткнулися або припускаєте незабаром зіткнутися з однією з нижче перерахованих проблем на Вашому комп'ютері:

- явно не вистачає фізичного обсягу вінчестера, як єдиного логічного диска. Найбільш часто ця проблема виникає при роботі з файлами великого обсягу (відео, графіка, бази даних);
- явно не вистачає продуктивності вінчестера. Найбільш часто ця проблема виникає при роботі з системами нелінійного відео монтажу або при одночасному зверненні до файлів на вінчестері великої кількості користувачів;
- явно не вистачає надійності вінчестера. Найбільш часто ця проблема виникає при необхідності працювати з даними, які ні в якому разі не можна втратити або які повинні бути завжди доступні для користувача. Сумний досвід показує, що навіть найнадійніша техніка іноді ламається і, як правило, в самий не відповідний момент.

Вирішити ці та деякі інші проблеми може створення на Вашому комп'ютері RAID-системи.

Що таке «RAID»?

У 1987 році Паттерсон (Patterson), Гібсон (Gibson) і Катц (Katz) з каліфорнійського університету Берклі опублікували статтю «Корпус для надлишкових масивів з дешевих дисководів (RAID)» (A Case for Redundant Arrays of У цій статті описано різні типи дискових масивів, що позначаються скороченням RAID - Redundant Array of Independent (або Inexpensive) Disks (надлишковий масив незалежних (або недорогих) дисководів). В основу RAID покладена наступна ідея: об'єднуючи в масив кілька невеликих і/або дешевих дисководів, можна отримати систему, що перевершує за обсягом, швидкістю роботи і надійністю найдорожчі дисководи. На додачу до всього така система з точки зору комп'ютера виглядає як один єдиний дисковод.
Відомо, що середній час напрацювання на відмову масиву дисководів дорівнює середньому часу напрацювання на відмову одиночного дисковода, поділеному на число дисководів у масиві. Внаслідок цього середній час напрацювання на відмову масиву виявляється занадто малим для багатьох додатків. Однак дисковий масив можна кількома способами зробити стійким до відмови одного дисковода.

У вищезгаданій статті було визначено п'ять типів (рівнів) дискових масивів: RAID-1, RAID-2, ..., RAID-5. Кожен тип забезпечував стійкість на відмову, а також різні переваги порівняно з одиночним дисководом. Поряд з цими п'ятьма типами популярність набув також дисковий масив RAID-0, який НЕ володіє надлишковістю.

Які існують рівні RAID і який з них вибрати?

RAID-0. Зазвичай визначається як НЕ надлишкова група дисководів без контролю парності. RAID-0 за способом розміщення інформації по дисководах, що входять в масив, іноді називається "" Striping "" ("" смугастий "" або "" тільняшка "):

Дисковод 0


Дисковод 1

Дисковод 2

Блок 0
Блок 3
....
Блок N

Блок 1
Блок 4
....
Блок N + 1

Блок 2
Блок 5
....
Блок N + 2

Оскільки RAID-0 не має надлишковості, аварія одного дисковода призводить до аварії всього масиву. З іншого боку RAID-0 забезпечує максимальну швидкість обміну та ефективність використання обсягу дисководів. Оскільки для RAID-0 не потрібні складні математичні або логічні обчислення, витрати на його реалізацію мінімальні.

Область застосування: аудіо- і відео програми потребують високої швидкості безперервної передачі даних, яку не може забезпечити одиночний дисковод. Наприклад, дослідження, проведені фірмою Mylex, з метою визначити оптимальну конфігурацію дискової системи для станції нелінійного відео монтажу показують, що, порівняно з одним дисководом, масив RAID-0 з двох дисководів дає приріст швидкості запису/читання на 96%, з трьох дисководів - на 143% (за даними тесту Miro VIDEO
Мінімальна кількість дисководів у масиві "RAID-0" "- 2шт.


RAID-1. Більш відомий як "Mirroring" ("" Дзеркалювання ") - це пара дисководів, що містять однакову інформацію і складають один логічний диск:

Дисковод 0

Дисковод 1

Блок 0
Блок 1
....
Блок N

Блок 0
Блок 1
....
Блок N

Запис проводиться на обидва дисководи в кожній парі. Тим не менш, дисководи, що входять в пару, можуть здійснювати одночасні операції читання. Таким чином «дзеркалювання» може подвоювати швидкість читання, але швидкість запису залишається незмінною. RAID-1 володіє 100% надмірністю і аварія одного дисковода не призводить до аварії всього масиву - контролер просто перемикає операції читання/запису на дисковод, що залишився.
RAID-1 забезпечує найвищу швидкість роботи серед усіх типів надлишкових масивів (RAID-1 - RAID-5), особливо в багатокористувацькому оточенні, але найгірше використання дискового простору. Оскільки для RAID-1 не потрібні складні математичні або логічні обчислення, витрати на його реалізацію мінімальні.
Мінімальна кількість дисководів у масиві "RAID-1" "- 2шт.
Для збільшення швидкості запису і забезпечення надійності зберігання даних кілька масивів RAID-1 можна, в свою чергу, об'єднати в RAID-0. Така конфігурація називається «дворівневий» RAID або RAID-10 (RAID 0 + 1):


Дисковод 0

Дисковод 1

Дисковод 2

Дисковод 3

Блок 0
Блок 2
....
Блок N


Блок 0
Блок 2
....
Блок N

Блок 1
Блок 3
....
Блок N + 1

Блок 1
Блок 3
....
Блок N + 1

Мінімальна кількість дисководів у масиві "RAID 0 + 1" "- 4шт.
Область застосування: дешеві масиви, в яких головне - надійність зберігання даних.

RAID-2. Розподіляє дані по страйпах розміром в сектор по групі дисководів. Деякі дисководи виділяються для зберігання ECC (код коригування помилок). Оскільки більшість дисководів за замовчуванням зберігають коди з ECC для кожного сектора, RAID-2 не дає особливих переваг порівняно з RAID-3 і, тому, практично не застосовується.

RAID-3. Як і у випадку з RAID-2 дані розподіляються за страйпами розміром в один сектор, а один з дисководів масиву відводиться для зберігання інформації про парність:

Дисковод 0


Дисковод 1

Дисковод 2

Блок 0
Блок 2
....
Блок N

Блок 1
Блок 3
....
Блок N + 1

Контрольна сума 0 і 1
Контрольна сума блоку 2 і 3
....
Контрольна сума блока N і N + 1

RAID-3 покладається на коди з ECC, що зберігаються в кожному секторі для виявлення помилок. У разі відмови одного з дисководів відновлення інформації, що зберігалася на ньому, можливе за допомогою обчислення виключного АБО (XOR) за інформацією на решті дисководів. Кожен запис зазвичай розподілений по всіх дисководах і тому цей тип масиву хороший для роботи в програмах з інтенсивним обміном з дисковою підсистемою. Оскільки кожна операція введення-виведення звертається до всіх дисководів масиву, RAID-3 не може одночасно виконувати кілька операцій. Тому RAID-3 хороший для однокористувального однозадачного оточення з довгими записами. Для роботи з короткими записами потрібна синхронізація обертання дисководів, оскільки інакше неминуче зменшення швидкості обміну. Застосовується рідко, тому що програє RAID-5 з використання дискового простору. Реалізація вимагає значних витрат.
Мінімальна кількість дисководів у масиві "RAID-3" "- 3шт.

RAID-4. RAID-4 ідентичний RAID-3 за винятком того, що розмір страйпів багато більше одного сектора. У цьому випадку читання здійснюється з одного дисковода (не рахуючи дисковода, що зберігає інформацію про парність), тому можливе одночасне виконання декількох операцій читання. Тим не менш, оскільки кожна операція запису повинна оновити вміст дисковода парності, одночасне виконання декількох операцій запису неможливо. Цей тип масиву не має помітних переваг перед масивом типу RAID-5.
RAID-5. Цей тип масиву іноді називається «масив з обертовою чіткістю». Цей тип масиву успішно долає властивий RAID-4 недолік - неможливість одночасного виконання декількох операцій запису. У цьому масиві, як і в RAID-4, використовуються страйпи великого розміру, але, на відміну від RAID-4, інформація про парність зберігається не на одному дисководі, а на всіх дисководах по черзі:

Дисковод 0

Дисковод 1

Дисковод 2

Блок 0
Блок 2
....
Контрольна сума блока N і N + 1

Блок 1
Контрольна сума блоку 3 і 4
....
Блок N + 1

Контрольна сума блоку 1 і 2
Блок 3
....
Блок N

Дії запису звертаються до одного дисковода з даними та до іншого дисковода з інформацією про чіткість. Оскільки інформація про чітність для різних страйпів зберігається на різних дисководах, виконання декількох одночасних операцій запису неможливе тільки в тих рідкісних випадках, коли або страйпи з даними, або страйпи з інформацією про парність знаходяться на одному і тому ж дисководі. Чим більше дисководів у масиві, тим рідше збігається місце розташування страйпів інформації і парності.
Область застосування: надійні масиви великого обсягу. Реалізація вимагає значних витрат.
Мінімальна кількість дисководів у масиві "RAID-5" "- 3шт.

RAID-1 чи RAID-5?
RAID-5 порівняно з RAID-1 більш економно використовує дисковий простір, оскільки в ньому для надлишковості зберігається не «копія» інформації, а контрольне число. У результаті в RAID-5 можна об'єднати будь-яку кількість дисководів, з яких тільки один буде містити надлишкову інформацію.
Але більш висока ефективність використання дискового простору досягається за рахунок більш низької швидкості обміну інформацією. Під час запису інформації в RAID-5 треба щоразу оновлювати інформацію про парність. Для цього треба визначити, які саме біти парності змінилися. Спочатку зчитується стара інформація, що підлягає оновленню. Потім ця інформація перемножується по XOR з новою інформацією. Результат цієї операції - бітова маска, в якій кожен біт = 1 означає, що в інформації про чітність у відповідній позиції треба замінити значення. Потім оновлена інформація про парність записується на відповідне місце. Отже, на кожну вимогу програми записати інформацію, RAID-5 здійснює два читання, два записи і дві операції XOR.
За те, що більш ефективно використовується дисковий простір (замість копії даних зберігається блок парності) доводиться платити: на генерацію і запис інформації про парність йде додатковий час. Це означає, що швидкість запису на RAID-5 нижче, ніж на RAID-1 у співвідношенні 3:5 або навіть 1:3 (тобто швидкість запису на RAID-5 становить від 3/5 до 1/3 від швидкості запису RAID-1). Через це RAID-5 безглуздо створювати в програмному варіанті. Їх також не можна рекомендувати в тих випадках, коли саме швидкість запису має вирішальне значення.

Який спосіб реалізації RAID - програмний або апаратний?

Прочитавши опис різних рівнів RAID можна помітити, що ніде не згадуються якісь специфічні вимоги до апаратури, яка необхідна для реалізації RAID. З чого можна зробити висновок, що все, що потрібно для реалізації RAID - підключити необхідну кількість дисководів до наявного в комп'ютері контролера і встановити на комп'ютер спеціальне програмне забезпечення. Це вірно, але не зовсім!
Дійсно, існує можливість програмної реалізації RAID. Прикладом може служити ОС Microsoft Windows NT 4.0 Server, в якій можлива програмна реалізація RAID-0, -1 і навіть RAID-5 (Microsoft Windows NT 4.0 Workstation забезпечує тільки RAID-0 і RAID-1). Однак дане рішення слід розглядати, як вкрай спрощене, що не дозволяє повністю реалізувати можливості RAID-масиву. Досить відзначити, що при програмній реалізації RAID все навантаження з розміщення інформації на дисководах, обчислення контрольних кодів і т. д. лягає на центральний процесор, що природно, не збільшує продуктивності і надійності системи. З тих же причин, тут практично відсутні будь-які сервісні функції і всі операції по заміні несправного дисковода, додавання нового дисковода, зміни рівня RAID і т. п. проводяться з повною втратою даних і при повній забороні виконання будь-яких інших операцій. Єдина гідність програмної реалізації RAID - мінімальна вартість.

Набагато більше можливостей дає апаратна реалізація RAID за допомогою спеціальних RAID-контролерів:

- спеціалізований контролер звільняє центральний процесор від основних операцій з RAID, причому ефективність контролера тим більше помітна, чим вище рівень складності RAID;
контролери, як правило, забезпечені драйверами, що дозволяють створити RAID практично для будь-якої популярної ОС;
- вбудований BIOS контролера і додані до нього програми управління дозволяють адміністратору системи легко підключати, відключати або замінювати дисководи, що входять в RAID, створювати кілька RAID-масивів, причому навіть різних рівнів, контролювати стан дискового масиву тощо. У «просунутих» контролерів ці операції можна виробляти «на льоту», тобто не вимикаючи системний блок. Багато операцій можуть бути виконані в «фоновому режимі», тобто не перериваючи поточну роботу і навіть дистанційно, тобто з будь-якого (звичайно при наявності доступу) робочого місця;
- контролери можуть оснащуватися буферною пам'яттю («кеш»), в якій запам'ятовуються кілька останніх блоків даних, що, при частому зверненні до одних і тих самих файлів, дозволяє значно збільшити швидкодію дискової системи.

Недоліком апаратної реалізації RAID є відносно висока вартість RAID-контролерів. Однак, з одного боку, за все (надійність, швидкодія, сервіс) треба платити. З іншого боку, останнім часом, з розвитком мікропроцесорної техніки, вартість RAID-контолерів (особливо молодших моделей) стала різко падати і стала порівнянною з вартістю звичайних дискових контролерів, що дозволяє встановлювати RAID-системи не тільки в дорогі мейнфрейми, але і в сервери початкового рівня і навіть

Як вибрати модель RAID-контролера?

Можна виділити кілька типів RAID-контролерів залежно від їх функціональних можливостей, конструктивного виконання та вартості:
1. Контролери дисковода з функціями RAID.
По суті, це звичайний дисковий контролер, який завдяки спеціальній прошивці BIOS дозволяє об'єднувати дисководи в RAID-масив, як правило, рівня 0, 1 або 0 + 1.

Ultra (Ultra Wide) SCSI контролер фірми Mylex KT930RF (KT950RF).
Зовні даний контролер ні чим не відрізняється від звичайного SCSI-контролера. Вся "спеціалізація" "знаходиться в BIOS, який ніби розділений на дві частини -" Конфігурація SCSI "/" Конфігурація RAID ". Незважаючи на невисоку вартість (менше $200) даний контролер володіє непоганим набором функцій:

- об'єднання до 8-и дисководів в RAID 0, 1або 0 + 1;
- підтримка Hot Spare для заміни «» на льоту «» дисковода, що вийшов з ладу;
- можливість автоматичної (без втручання оператора) заміни несправного дисковода;
- автоматичний контроль цілісності та ідентичності (для RAID-1) даних;
- наявність пароля для доступу до BIOS;
- RAIDPlus представляє інформацію про стан дисководів у RAID;
- драйвера для DOS, Windows 95, NT 3.5x, 4.0


IDE контролер фірми Promise FastTRAK
Цей контролер містить два незалежні IDE канали. Додавши другий контролер FastTrak можна отримати чотири незалежно працюючих канали. BIOS, встановлений на контролері, повністю бере на себе всі функції переривання INT13. Зокрема, він дозволяє організувати завантаження з будь-якого з дискових масивів, підключених через FastTrak. BIOS, встановлений на контролері, також підтримує всі функції Extended INT13, в тому числі і підтримку дисків обсягом понад 8.4 Гбайта. Вартість контролера менш ніж $150. Контролер володіє наступними характеристиками:

- об'єднання до 4-х (до 8-и з двома контролерами) дисководів в RAID 0, 1або 0 + 1;
- підтримка Hot Spare для заміни «» на льоту «» дисковода, що вийшов з ладу;
- драйвера для DOS, Windows 95/98, NT 3.x/4.х, Novell Netware 3.1x/4.x, OS/2 Warp 2.x/3.0


Для підвищення продуктивності в FastTRAK використовуються методи, характерні для SCSI-контролерів: конвеєрний пошук, балансування завантаження дисководів, буферизація команд інтерфейсу, оптимізація для різних програм.

Висновки: Контролери дисковода з функціями RAID навряд чи можна рекомендувати в якості RAID-контролера для сервера навіть середнього рівня (відсутній кеш, не підтримується RAID-3 або -5). У той же час, це прекрасний вибір для серверів початкового рівня, графічних станцій і систем нелінійного відео монтажу, для яких основним параметром є співвідношення ціна/продуктивність.

2. RAID-контолери, що працюють в парі з вже наявним дисковим контролером.
Дані RAID-контролери розраховані на роботу з системними платами, на яких інтегрований дисковий контролер. Таким чином, на платі контролера знаходитися тільки «» логічна «» частина RAID-контролера, а функції обміну даними з дисководами покладена на дисковий контролер інтегрований на системній платі. Такі "усічені" "контролери, як правило, підтримують багато функцій повнофункціональних RAID-контролерів, і, в той же час, коштують набагато дешевше. Однак це рішення не позбавлене недоліків. Головне з них - кожен «» усічений «» контролер жорстко «» прив'язаний «» до конкретного типу мікросхем дискового контролера і, отже, буде працювати тільки на тих системних платах, на яких інтегрована така мікросхема.

Ultra2 SCSI контролер фірми Mylex AcceleRAID 150, AcceleRAID 200, AcceleRAID 250
Ultra2 SCSI контролер фірми AMI MegaRAID ^ Express 762


Mylex AcceleRAID 150


Mylex AcceleRAID 200


Mylex AcceleRAID 250


AMI MegaRAID® Express 762

Основні характеристики RAID-контолерів:

Модель/параметр

Mylex AcceleRAID 150

Mylex AcceleRAID 200

Mylex AcceleRAID 250

AMI MegaRAID® Express 762

Процесор RISC

i960RP 33MHz

i960RD 66MHz

i960RD 66MHz

i960RP 33MHz

Кеш

4MB EDO

4—64MB ECC EDO JEDEC SIMM

4—64MB ECC EDO JEDEC SIMM

4—128MB FPM parity SIMM

Підтримувані рівні RAID

0, 1, 0+1, 3, 5, 10, 30, 50, JBOD

0, 1 , 0+1, 3, 5, 10, 30, 50& JBOD

0, 1 , 0+1, 3, 5, 10, 30, 50& JBOD

0, 1, 3, 5, 10, 30 & 50

Тип SCSI каналу на контролері

Ultra2 SCSI (LVD)

Немає

Ultra2 SCSI (LVD)

Немає

Тип SCSI каналу на системній платі

UltraWide-, Ultra2 SCSI (LVD)

UltraWide-, Ultra2 SCSI (LVD)

UltraWide-, Ultra2 SCSI (LVD)

UltraWide-, Ultra2 SCSI (LVD)

Кластеризація RAID-контолерів

Немає

Немає

Так (NT only)

Немає

Автоматичне визначення несправних дисків

Так.

Так.

Так.

Так.

Підтримка Hot swapping

Так.

Так.

Так.

Так.

Підтримка Hot spare

Так.

Так.

Так.

Так.

Програма налаштування

In BIOS

In BIOS

In BIOS

Power Console Plus

Програма керування

Global Array Manager

Global Array Manager

Global Array Manager

Power Console Plus

Підтримувані системні плати

На базі Symbios (53C876, 53C895, 53C896 тощо), наприклад Intel N440BX, T440BX, NA440BX і NC440BX

На базі Symbios (53C876, 53C895, 53C896 тощо), наприклад Intel N440BX, T440BX, NA440BX і NC440BX

На базі Symbios (<unk>, <unk>, <unk> і т. д.), наприклад Intel <unk>, <unk>, <unk>, <unk>

На базі Symbios, наприклад Intel N440BX, SC450NX, або AMI MegaRUM

Драйвера для ОС

Windows NT 4.0,NetWare 3.x/4.x/5.x and SMP, SCO UnixWare 2.1, 7.0, UNIX OSR 5.x,Linux 2.2

Windows NT server 4.0, NetWare 4.x/5.x and SMP, SCO UnixWare 2.1, 7.0, UNIX OSR 5.x

Windows NT server 4.0, NetWare 4.x/5.x and SMP, SCO UnixWare 2.1, 7.0, UNIX OSR 5.x

Windows NT 3.x/4.0, NetWare 3.1x/4.x, SCO UNIX SVR 4.2/ODT 3.0/ 5.0, OS/2 2.x/ Warp 3.x/4, UnixWare SMP 2.0/2.1, SCO OpenServer 5.0x

Об'єднання RAID-контолера з дисковим контролером через шину PCI значно навантажує останню, гальмуючи інші операції введення-виведення. Для підвищення загальної продуктивності системи на деяких системних платах введено додатковий інтерфейс, названий PCI-RAIDport і дозволяє RAID-контолеру безпосередньо обмінюватися даними з інтегрованим на системній платі SCSI-контролером.

Для такого інтерфейсу потрібен спеціалізований RAID-контоллер, наприклад Ultra2 SCSI контролер ARO1130U2 фірми Adaptec. Основні характеристики:

- Підтримувані рівні RAID: 0, 1 , 0+1, 5;
- Кэш 2—64MB EDO DIMM Unbuffered Parity;
- Розрахований на роботу з системними платами, на яких інтегрований RAIDport II або RAIDport III конектор і Ultra/Ultra2 SCSI контролер AIC-7890 або AIC-7896, наприклад Intel L440GX +, C440GX +, SuperMicro P6DBU, S2DGU;
- Підтримка Hot Spare і Hot Swap для заміни «» на льоту «» дисковода, що вийшов з ладу;
- Драйвера для Windows NT 4.0, NetWare 4.11 and 5.0, UnixWare 7.01


Висновки: RAID-контолери, що працюють в парі з вже наявним дисковим контролером, мають вартість не набагато вище вартості якісних Ultra2 SCSI дискових контролерів і, в той же час, за характеристиками майже не поступаються повнофункціональним RAID-контолерам (відсутній батарейний модуль для захисту кешу і не передбачена кластерера Браком можна вважати те, що ці контролери «заточені» для роботи з певними типами системних плат, що звужує область їх застосування. Слід зазначити, що контролери Mylex AcceleRAID 150 і Mylex AcceleRAID 250 мають свій Ultra2 SCSI дисковий контролер, що дозволяє використовувати їх як самостійні одноканальні Ultra2 SCSI RAID-контолери з будь-якою PCI системною платою.

3. Повнофункціональні RAID-контолери.
Дані RAID-контролери містять «на борту» все необхідне для роботи з високопродуктивними дисковими системами: BIOS, що дозволяє незалежно від налаштування ОС і форматування RAID будь-якого рівня; RISC-процесор для швидкого обчислення контрольних сум і корекції помилок «на льоту»;
кеш-пам'ять для зберігання часто використовуваних даних; до 3-х канальних контролерів, що працюють незалежно, кожен з яких підтримує до 15 дисководів. Такі RAID-контолери випускаються у вигляді плати для установки в PCI шину. Найбільш відомі моделі:

Ultra Wide SCSI контролер фірми Mylex DAC960PJ/DAC960PG

Ultra2 SCSI контролер фірми Mylex eXtremeRAID 1100

Ultra Wide SCSI контролер фірми AMI MegaRAID ^ Ultra (Series 428)

Ultra2 SCSI контролер фірми AMI MegaRAID ^ Ultra2 LVD (Series 438)


Mylex DAC960PJ/DAC960PG


Mylex eXtremeRAID 1100


AMI MegaRAID® Ultra (Series 428)


AMI MegaRAID® Ultra2 LVD (Series 438)

Основні характеристики RAID-контолерів:

Модель/параметр

Mylex DAC960PJ/DAC960PG

Mylex eXtremeRAID 1100

AMI MegaRAIDR Ultra (Series 428)

AMI MegaRAIDR Ultra2 LVD (Series 438)

Процесор RISC

i960RD 66MHz / i960RP 33MHz

StrongArm SA 110 233MHz

i960 CA 33 Mhz

i960RD 66MHz

Кеш

4-128MB ECC EDO JEDEC SIMM

32MB/64MB на платі

2*4-64MB FPM parity SIMM

4-64MB ECC EDO JEDEC SIMM

Розрядність PCI шини

32 bit

64 bit

32 bit

32 bit

Підтримувані рівні RAID

0, 1, 0+1, 3, 5, 10, 30, 50, JBOD

0, 1 , 0+1, 3, 5, 10, 30, 50& JBOD

0, 1, 3, 5, 10, 30 & 50

0, 1, 3, 5, 10, 30 & 50

Кол-во SCSI каналів

       
Image

Publish modules to the "offcanvas" position.