Смена типа RAID 1 на RAID 0 без на лету
 

Здравствуйте.

Есть некоторая организация с более чем 30 пользователями, которые одновременно работают в 1С. Баз несколько, общий вес баз порядка 70-100 ГБ. Все базы хранятся на отдельном сервере (MS SQL), подключенным по сети к серверу 1С Предприятия.

Речь соответственно идёт о сервере, на котором крутится MS SQL и лежат базы.

Сервер на базе материнской платы Supermicro S8DT3.
Стоит 2 SSD диска Kingston sv100s2/128g работают в RAID 1. В настройках контроллера включил кеш записи. Массив используется для работы системы и на нём хранятся базы MS SQL. До включения кеша записи скорость работы (чисто по ощущениям) была не высокой, после включения скорость заметно выросла (опять же по ощущениям). Монитор ресурсов Windows сейчас говорит, что скорость обращения к диску во время работы в среднем 10-20 МБ/с; при создании бекапа, и следовательно копирования с RAID массива на HDD скорость возрастает до 70-130 МБ. Пользователи иногда жалуются на скорость работы 1С. Заметить корреляцию с какими-то процессами на серверах мне не ужалось. Программист 1С говорит, что проблема скорее всего в скорости работы дисковой подсистемы сервера.

Единственный, по моему мнению, вариант ускорения системы это изменение типа RAID на 0. Все источники сообщают, что это действительно самое быстрое и самое небезопасное решение. Учитывая то, что бекапы всех баз делаются пару раз в день можно пожертвовать отказоустойчивостью в пользу производительности. Также мы скорее всего скоро упрёмся в проблему нехватки места на диске и RAID 0 также поможет и в этом.

Хотелось бы услышать мнение специалистов по поводу оптимизации системы. Стоит ли перестраивать архитектуру массива? может стоит просто заменить диски на более производительные? Может стоит провести какие-то более сложные тесты производительности?

У вас есть загранпаспорт? Когда массив рухнет, сразу бежать за границу придется! Ведь никто не сможет восстановить Вообще то странно, вы включали мониторинг системы? Отслеживали узкое место?
В терминальном режиме? Клиенты "толстые" или "тонкие"?

Преобразование RAID 1 в RAID 0 возможно только с уничтожением данных на обоих дисках! На лету не возможно!

Загранпаспорта нет, к сожалению. Я понимаю что 0 массив не предусматривает отказоустойчивости. Единственная страховка это бекапы два раза в день. При падении нужно будет восстановить систему, поднять базу из бекапа и по бумажным документам восстановить пол дня работы. Понятно, что гемор несусветный, но пока других вариантов не много.

Как именно это можно сделать?

Я смотрел в мониторе ресурсов на скорость работы дисков и сети. По первым впечатлениям система в целом нагружена процентов на 10. Сеть порядка 10-15 Мбит/с; диски 10-15МБ/с; ядра процессоров 20-30%.


Нет. На клиентских компьютерах стоит платформа 1С. Они подключаются к серверу 1С Предприятия. К серверу 1С предприятия, через вторую сетевую карту, подключен сервер баз данных о котором мы ведём речь.

Сейчас стоит платформа 8.2 в режиме совместимости с 8.1. В этом режиме может работать только толстый клиент. Когда полностью перейдём на 8.2 скорее всего будет тонкий клиент.

Жаль.

Может стоит задуматься о другом типе RAID с производительностью близкой к 0?

удивительно низкая скорость даже для SATA HDD.
тоже самое.

RAID 5, его скорость зависит от количества HDD в массиве и наличия кэша на рэйд-контроллере. Емкость RAID 5 примерно две трети от общей емкости рэйд массива.

Мое мнение вам нужен аппаратный рэйд-контроллер с большим кэшем.
Использование кэша RAID контроллера на запись (Write-Back Cache) очень сильно повышает производительность дисковой подсистемы (в разы), но создает риск потери данных при сбое питания или поломке аппаратуры. Поэтому при наличии аппаратного RAID контроллера всегда рекомендуется установка BBU (батарея аварийного питания кэша).

cameron, можно будет ночью остановить MS SQL и провести какие-нибудь нагрузочные тесты. Но вот только предложите пожалуйста каким ПО можно воспользоваться?
Система MS Windows Server 2008 Enterprise.



Материнская плата поддерживает этот тип RAID

Под аппаратным контроллером вы понимаете отдельную плату расширения? Или отдельное дисковое хранилище?

Сейчас кеш записи на контроллере включен и рост производительности после его включения был действительно заметен. BBU нет. Стоит бесперибойник.

(N*X)-N, где N=объёму одного накопителя, а Х - их количеству.

соотно если 10hdd*146Gb общий объём массива Raid5 будет 1460-146, что никак не 2/3.
IO meter
SQLio

там LSI1068, он вообще понимает что такое SSD? =)
я вот думаю что нет.
если есть возможность проверить - поставьте пару SAS 15k, в тот же RAID1, думаю что результаты будут другими.
а SSD можно использовать под кеш, но увы и ах, на другом контроллере.
он не поможет.

Да

Нет. Зайдите в Управление компьютером, далее "Производительность", далее "средства наблюдения", "системный монитор", добавьте счетчики "Дисковые операции файловой системы", "Активность физической сетевой карты" и запустите монитор, пусть пишет логи. Если есть возможность отследить провисания вашей системы (жалобы клиентов 1С) отметьте время этих жалоб, потом на логах смотрите, какой девайс будет на 100% загружен и какой операцией. Как то так.

Возможна потеря данных.

у него вполне себе аппаратный LSI 1068E. насчёт установки BBU и кеша - нужно смотреть в ман

но сейчас у меня родилось подозрение - а в какой контроллер то воткнуты SSD диски?
там их два, какой нибудь ICH (sata) и LSI1068E (SAS/SATA)?

Если верить спецификациям он сасовский, и 5 рэйд поддерживает опционально. Так что Tonny_Bennet Intel ICH10R SATA 3.0Gbps Controller.

Я не могу гарантировать, но по-моему диски подключены к Intel ICH10R SATA 3.0Gbps Controller.

Возможности пока нет и наверное не представится.

Не поможет в случае выходе из строя блока питания сервера, насколько я понимаю.


Добавил счётчики. А вот где настроить логирование так и не разобрался. По счётчикам скорости обмена не сильно от монитора отличаются.

Поиск аббревиатуры BBU по мануалу (99 стр.) ни к чему не привёл. Но я точно помню, что кеш записи включается в настройках контроллера. Может ли это означать что BBU уже смонтирована на мат. плате?

Немного не понял что имелось ввиду?

Сколько часов наработки у Ваших SSD? Если не сложно, укажите марку и ёмкость. Большая ли на них нагрузка? Возможно ли, что сложившаяся ситуация является результатом деградации производительности дисков? Есть ли возможности произвести замену дисков? Если нет, возможно, имело бы смысл попытаться частично восстановить производительность.

Sysinfo.exe говорит что...
Насколько я помню, сервер работал круглосуточно и лишь изредка перезагружался, т.о приблизительно 10 200 часов.

Модель sv100s2
Ёмкость 128 ГБ

Сложно ответить на вопрос, я не понимаю что вы понимаете под нагрузкой. В каком режиме и чем именно он эксплуатируется я уже описывал.

Мне это кажется маловероятным. У этих дисков 1Млн часов наработки на отказ.

Если чисто для тестов то нет.

Не понятно...

Это SQL сервер, постоянные запросы к дисковой подсистеме, нагрузка очень большая.

Я имел ввиду, что на специфические разъемы, к ним вы никак не смогли бы SDD прикрутить, так что они подключены к софтовому Intel ICH10R!

Речь не идет об отказах. Хотя все эти фантастические числа вроде "миллиона часов на отказ" - не более, чем продукт больной фантазии маркетологов. Они получаются чисто расчетным путем и, как уже давно замечено, не имеют ничего общего с действительностью (миллион часов - это 114 лет. Вы действительно верите, что Ваш диск столько поработает?)
У SSD, в отличие от HDD есть хорошо известная особенность - по мере эксплуатации их производительность постоянно падает. От 2 до 5-ти раз в среднем. То есть, б/у SSD может работать в 5 раз медленнее, чем новый.

Наиболее резко деградация производительности сказывается на системах с высоким уровнем нагрузки на дисковую подсистему.
Поэтому возникают три вопроса: С какой скоростью диски работали в самом начале? Каков объем свободного места на диске? Как давно Вы в последний раз производили дефрагментацию?

P.S. Система, естественно, настроена выполнять TRIM, я полагаю.

Он именно программный? Мне почему то всегда казалось что это аппаратный контроллер...

Т.е. вы считаете, что у меня на данный момент всё настроено верно и это максимальная скорость работы системы в данной аппаратной конфигурации?

Получается ускорения дисковой подсистемы можно добиться путём установки SAS дисков. А если захочу использовать RAID5 потребуется докупать AOC-IButton68.

Конечно программный.

Нет, простите. Это Вы считаете. Вы же сразу отвергли предположение, что за время эксплуатации (уже больше года) производительность SSD могла упасть.

Если честно, то впервые слышу о такой особенности. Если вам не сложно можете дать ссылку на какие-нибудь сравнительные тесты.

Есть ли какие-нибудь особенности у SAS-дисков?

Не знаю т.к. изначально всё работало нормально. Когда начало подтормаживать (чисто по ощущениям, скорости создания бекапа и т.д.) включил кеш записи. Всё нормализовалось и по отзывам программиста скорость работы стала ещё больше чем была изначально.

На текущий момент 20,3 ГБ из видимых системой 119 ГБ.

Дефрагментация делается каждую неделю в ночь с субботы на воскресенье.

Win2008 должен поддерживать TRIM. А вот как проверить настроено ли выполнение TRIM я не могу.

Я не считаю, а просто предполагаю. Просто если так рассуждать то что, каждый год диски менять? Недешёвое удовольствие...

SAS, простите, это интерфейс. Да, конечно, у него есть свои особенности. Например, в нем предусмотрены команды вывода списка дефектов и принудительно переназначения сектора на резервную область.
Но Вы, вероятно, спрашивали не об этом?
Точно так же, как есть HDD могут иметь любой из этих интерфейсов: SATA и SAS, SSD тоже существуют в двух вариантах: SAS SSD и SATA SSD.
Поэтому я не вполне понял Ваш вопрос.
Может быть Вы интересовались особенностями SAS SSD по сравнению с SATA SSD? Или SAS HDD по сравнению с SATA SSD?
В целом можно сказать, что SAS имеет свои особенности по сравнению с SATA, но ими легко можно пренебречь.
А вот SSD имеет массу особенностей, отличающих твердотельные диски от жестких и пренебречь этой разницей уже нельзя.

Это крайне интересно. Не могли бы уточнить, как именно она делается? Сам процесс. Какое ПО для этого используется?

По расписанию. Piriform Defraggler. Сейчас эта программа пишет что фрагментирован 1% файлов. Системная программа дефрагментации Windows пишет "Производительность файловой системы хорошая, выполнять дефрагментацию не требуется."

О таком количестве особенностей у SSD я не знал, за что что вам отдельное спасибо. Ответьте пожалуйста на вопрос по поводу TRIM: можно ли проверить поддерживается эта команда системой или нет?

Мне интересно знать можно ли ускорить систему? Или она уже на пределе своих возможностей? Стоит ли сменить диски на SAS HDD? Уменьшится ли деградация дисков со временем? Что со скоростью и отказоустойчивостью?

К сожалению, программы для дефрагментации HDD ни в коем случае нельзя, никогда, ни при каких условиях запускать на SSD. Точнее можно, но только в одном случае - если Вам нужно как можно быстрее добиться от начальства списания этого накопителя как полностью пришедшего в негодность.

В результате Вы имеете сейчас повышенный износ накопителя и жутко фрагментированную фс.
Одного этого достаточно для того, чтобы объяснить низкую производительность диска.
Если Вас не затруднит, покажите, пожалуйста, значения атрибутов smart для обоих дисков.
Меня больше всего интересуют 207, 208 и 233 атрибуты (называю на память, могу ошибиться).
Но, лучше всего, выложите их все. У SSD обычно намного меньше сенсоров, чем у HDD, а номера атрибутов, к сожалению, могут меняться от производителя к производителю.

У исправного HDD снижения производительности самого устройства со временем в принципе не существует.

RAID10 не рассматривали?

Теперь я практически не сомневаюсь в покупке SAS HDD под новый год...

В системе стоят драйвера на контролер от Adaptec. В фирменной утилите в пункте SMART Error он пишет no. Достать диски из сервера и переключить их поодиночке не получится как минимум до выходных. Есть ли утилиты, который из под Windows смогут пробиться через драйвер RAID контроллера и прочитать SMART с диска?

Tonny_Bennet, извините, ничего не могу сказать про Windows - я не пользуюсь этой ОС. Подождите, пока ответит кто-нибудь ещё. Он же, я надеюсь, сможет подсказать Вам как узнать выдает ли система команды TRIM на конкретный дисковод.

Четыре диска и удвоенная производительность за которую надо пожертвовать половиной ёмкости? Самая, на мой взгляд, бесполезная из всех конфигураций RAID.

В моём случае, если диски более-мене живы то просто стоит докупить ещё один и сделать массив RAID5

"зеркало" тоже расточительство? :)

RAID 1 хотя бы гарантирует сохранность данных при отказе одного диска за счет одного резервного.
RAID 10 тоже гарантирует сохранность при отказе одного диска, но уже за счет двух резервных.
В таком случае, разумнее использовать RAID 6 - там сохранность гарантируется при двух отказах.
Хотя, на мой взгляд, и RAID 5 вполне достаточно.

+ скорость
но спорить не будем, каждому свое :)

стесняюсь спросить - зачем?!

а вендорной утилиты по проверке и диагностике SSD у Кингстона нет?
это не удивительно - таких результатов добились абсолютно все, о чём написано много статей.

Вот список драйверов SATA контроллера с сайта производителя:
При установке системы Windows скушал только драйвера (by Adaptec). Когда подсовывал драйвера для Intel система не видела дисковый массив.

На сайте Кингстона такой утилиты не нашёл. Зато есть "Обновление встроенного ПО" для моего диска.

Также есть пара замечаний по поводу SSD, TRIM и RAID:

Что вы можете сказать по этому поводу? Может действительно стоит отказаться от RAID на базе SSD, если со временем будет снижение производительности?

Windows 2008 команду не принимает. Пока оставляю вопрос открытым. На локальном компе с Win7 TRIM работает.

Тут написано
systeminfo пишет что
"Название ОС: MicrosoftR Windows ServerR 2008 Enterprise"
т.о. система не поддерживает TRIM. Ещё и систему сменить прийдётся :(

Tonny_Bennet, не проще ли будет сменить диски?

добавить нормальный контроллер, сасы и в будущем читать документацию

AMDBulldozer, так наверное и поступлю. Жаль потраченных денег....

Этот контроллер не считается нормальным? Или из-за ограничения на RAID5 (AOC-IButton68) лучше использовать другой за эти же деньги? Можете посоветовать какой-нибудь контролер SAS под 4 диска с поддержкой RAID5? Какие диски использовать (необходимое дисковое пространство 200-300 ГБ)?

это, в общем-то, нормальный контроллер.
но супирмикра, будучи в своём репертуаре, не распаяла контакты для BBU и Cache (хотя можете написать в саппорт супирмикры(или Тринити), может и распаяла, но не отразила в мане, это же конструкторы сделай-всё-сам). если ББУ и кеш можно как-то поставить - то его хватит.
если нет - адаптек 3405 (обратите внимание какие коннекторы у вас на бэкплейне сервера)
по поводу raid5 - я не советую вам делать райд5 под БД.
диски - на рынке SAS кроме сигейта и хитачи почти никого не осталось, так что выбор не богат.
диски по 300гб сейчас не дороги, так что проблем не должно быть.

А почему обязательно SAS, а не SATA? Не сказал бы я, что Cheetah когда-нибудь дешевая была.

да можно и IDE в общем-то.
оптимально IBM DTLA =)
а вообще это сугубо моё мнение. мне никогда не приходило в голову держать что-либо кроме бэкапов на SATA дисках.
возможно это упущение, но я не планирую менять свой подход ;)

В этом обзоре, тесты скорости RAID 5 уступают только RAID 0. Почему не советуете?

Залез на сайт одного интернет магазина и выбор богат. :)

Если интерфейс SAS предполагает скорость до 6.0 Гбит/с, есть ли зависимость скорости работы от скорости вращения шпинделя и кеша самого диска? Если у предложенного вами контроллера кеш 128 МБ, целесообразно ли искать диски с кешем больше 64 МБ (если планируется использовать 3 диска)?

От скорости вращения диска зависит только латентность (среднее время подвода БМГ), от размера кэша диска практически ничего не зависит, но как маркетинговый ход работает хорошо! (хотя, объективно, чем больше объем диска, тем больше памяти требуется под системные таблицы).

Абсолютно никакого смысла нет. На скорость работы кэш диска не повлияет.
(кэш контроллера влияет очень сильно. Особенно на RAID5и6)

не люблю ждать INIT'а или ребилда сутками (правда 4 диска у меня нигде нет, там это будет несколько часов).
а вообще почитайте много чего интересного написано.
NL-SAS это никакой не сас, там только интерфейсный контроллер SAS.
IBM/HP/Dell/etc - они оемят диски. в основном сигейты, чуть меньше хитачи, ещё меньше фуджики.
это и SATA предлагает.

Только сайт производителя сможет точно сказать это SAS или NL-SAS или как-то ещё можно отличить "тёплое" от "мягкого"?

по RPM.
7200 - NL-SAS
10000-15000 - SAS.

cameron, AMDBulldozer, NRMS, Ment69, огромное вам спасибо за помощь в понимании вопроса. Сейчас общаюсь с представителями компании, у которой покупал сервер и обсуждаю варианты с AOC-IButton68 и отдельным RAID контроллером.

Созвонился с официальными перепродавцами супермикры в России и мне авторитетно заявили, что у контролера LSI 1068E нет отдельного кеша записи и батарейки, поддерживающей этот кеш. Если в настройках контроллера включается кеш записи, то он использует оперативную память компьютера.

А сколько свободного места на дисках если баз под 100 Гб + система на них?
Вроде для SSD желательно оставлять 20-25% свободного места. К тому же TRIM на raid-дисках не работает, только на новых прошивках/контроллерах.

1С любит не столько скорость дисковой системы (чтение/запись), сколько скорость доступа к данным, а здесь у SSD преимущество перед любыми HDD и RAIDами из HDD просто на порядок - микросекунды против миллисекунд, хотя и не все так прерасно на запись, особенно на замусоренном диске.

Почему не существует? Я вот подумываю себе недорогой RAID-контроллер взять, так один из вариантов Adaptec 7805Q. Он выполняет trim (правда ssd дисков у меня всё равно нет).

Информация была с сайта Kingston. Её больше никто не опровергал кроме вас. Мне нравится идея покупки контроллера и к примеру ещё одного диска SSD вместо закупки трёх сас дисков и сас контроллера. Единственное хочется увидеть обзоры или услышать хоть какие нибудь отзывы о подобной схеме работы SSD RAID.

AMDBulldozer, ещё раз перечитал спецификацию Adaptec 7805Q. И тут указано, что это механизм кэширования, при котором кэш располагается на SSD диске.

Т.е. нет таки RAID массивов из SSD дисков???

Там что-то нехорошее происходит. Например, один из членов массива регулярно вываливается, потом подцепляется и начинается ребилд, что на скорость работы влияет крайне отрицательно.

vadblm, в принципе решено - буду уходить от встроенного в материнку контроллера на внешний. Остаётся вопрос с приобретении внешнего с "батарейкой". Вот только стоит ли искать контроллеры, нормально работающие с SSD дисками? Или просто забыть про эту идею и покупать SAS?

Tonny_Bennet, я противник чисто хардверных решений, если только бюджет не десятки тысяч. :) Контроллеры тоже дохнут, завязываться на них в случае RAID1,0,10 (там где нет контрольных сумм) имхо бессмысленно. Вот прикиньте, проработает у вас умный контроллер года три и опа. Всё стоит, в продаже этой модели уже нет, на полке запасного не лежит, с амазона приедет почтой россии через три месяца — админ рвёт волосы на голове и прочих местах, с матюками вытаскивая данные и делая на коленке софтверный райд. Нафиг-нафиг. Лучше уж сразу софтверный, чисто софтверный, который не боится смены железа вообще. Сейчас можно даже на RAID5/6 софтверный замахиваться, благо современные процы имеют SSE2, от которых тот же mdadm грандиозно выигрывает в скорости, скажем, на 4-ядерном E3 ксеоне скорость хеширования достигает 5Гбайт/сек.

По поводу SSD, да какая разница. Разве что озаботиться, чтобы TRIM работал, ну или использовать SSD как отдельный кэш девайс, например для ZIL у ZFS.