50 Терабайт как несколько дисков ?
Доброго времени суток, товарищи! :)
Планируем снимать полнометражный низкобюджетный фильм. Отснятый материал будет занимать кучу места (60 минут = 128 Гигабайт). Всего по подсчётам понадобится около 50-ти терабайт. Не подскажете как лучше соединить 25 жёстких дисков по 2 Терабайта для работы над видео материалом к одному компьютеру? Какие способы лучше использовать и какое оборудование? Кстати, данные на диски будут записываться не с компьютера, а прямо с камеры на диски по очереди. |
Доброго.
Определите бюджет и ищите в поисковиках, ссылок полно... ключевые слова: системы хранения данных, дисковые массивы, сетевые хранилища http://www.dscon.ru/products/axus_yotta_b_24.htm http://storusint.com/solutions/video_solution.htm от себя: самый дешевый вариант: от 300 руб. - SATA to USB Adapter :) извините вы снимаете 800-часовой фильм? :clapping: |
Цитата:
|
Цитата:
Цитата:
Цитата:
Цитата:
|
Цитата:
Как-то крутовато для "низкобюджетного" кино. Тут одно дисковое хранилище чего стоит... |
Цитата:
Цитата:
|
Цитата:
|
Цитата:
|
Цитата:
Цитата:
По сути, AzazeLHAck, не совсем правильно сформулировал вопрос, не описав исходные данные (например, какие выходы имеет видео-камера) и как видится процесс съёмки и перенос данных. Т.к. данные передаются при помощи HDSDI, то можно просто передавать их на компьютер с предложенным zonderz: Цитата:
AzazeLHAck, удачных съёмок и проката! Контр-марки на премьеру не забудь выслать! ;) |
Цитата:
Если же вам нужно промышленное хранилище со всеми 50Тб неразрывно, со скоростью от 3Gbps, то рекомендую обратить внимание на продукцию Xyratex. Вот тут есть хороший выбор, онлайн-конфигуратор и возможность проконсультироваться. Денег стоит солидных, обойдётся хозяйство в $10-15 тыс (без дисков), так что рекомендую попытаться арендовать. |
Цитата:
Цитата:
Цитата:
Цитата:
Цитата:
А теперь вопрос: Сейчас пока нет времени изучать RAID, поэтому прямо спрошу. Подобные Xyratex массивы объединят много дисков в один, если на них уже записаны данные..? Чтобы не приходилось форматировать. И какой из RAID (0,1,10,5,6,...) подходит для соединения (без всяких бэкапов) дисков с медиа данными..? |
Цитата:
Цитата:
Цитата:
PS Есть и другие производители промышленных СХД, можете и на них посмотреть, но каждый кулик своё болото хвалит, а я пользуюсь Xyratex и полностью им доволен. |
Цитата:
Но в данном случае лучше использовать RAID5 или 6. |
JBOD в случае использования в промышленной СХД даёт уж очень низкую производительность, не говоря о сравнительно низкой надёжности. А про некритичность избыточности я уже говорил - смысл экономить 1-2 диска, когда их 24 или больше? Особенно в ущерб надёжности и производительности.
|
Можно пятый рэйд построить. Места будет меньше на объём одного диска, зато и надёжность какая-никакая будет, и производительность, во всяком случае, не хуже.
А можно один огромный динамический диск сделать. |
Цитата:
Цитата:
Цитата:
Мне на одном из сайтов с такими девайсами посоветовали по моим требованиям (Поддержка дисков на 2 ТБ, 24 диска и т.д.) вот такой набор: Дисковый массив: Proware EP-2123S-F4S3........5567$ Полка расширения: Proware EP-2123J-S3S3.....3340$ Хост-адаптер: Qlogic QLE2440-CK.......................900$ И цены не очень велики. Что скажете..? |
Цитата:
Цитата:
Да и таскать придётся поболе 50кг - помимо массива с полкой понадобится ещё машинка, в которую воткнут Цитата:
|
1)
Можно решить проблему следующим образом: - Veritas Storage Foundation for Windows + +Дисковое хранилище высокой плотности (например http://ru.sun.com/products/storage/e...4500/specs.jsp) 2) Приобретая чисто хардверное решение, обязательно уточняйте максимально возможный размер тома (LUN). Многие системы хранения данных (например EVA) не выделяют тома больше чем 2 ТБ ===================== Вобще же для целей которые заявлены у вас обычно применяют специализированные системы Например такое http://storus.ru/solutions/video_solution.htm |
Цитата:
Значит можно будет имет доступ по сети через соответствующий коммутатор на скорости 1000 Мбит/с..? Ещё хотелось бы знать, можно ли там вообще RAID не использовать..? Просто, чтобы как 4 диска он был виден..? IgNat, А может просто подсоединить 25 хардов методом eSATA через какой-нибудь хаб (если таковой есть) и не возиться с килограммами, RAIDами и лишними затратами? |
Цитата:
Вот табличка возможностей относительно современных "простых" SATA контроллеров, обратите внимание на графы PMP и PMP SM. |
Цитата:
- Самодельный корпус, где будет стоять мощный блок питания (Ватт на 1500 или больше) - Вставить туда 25 жёстких дисков SATA по 2 Терабайта. На корпусе будет установлено 7 таких вот устройств. Изнутри диски будут соединены SATA кабелями к этим устройствам. - В компьютере, где будет происходить монтаж материала, установить такие платы. Может найдутся и на большее количество портов, 8, например. - Соединить всё eSATA кабелями. Можно всё так сделать..? |
Цитата:
Цитата:
Правда не eSATA, но это не критично, раз вы собрались дисковую полку самостоятельно собирать. |
|
Цитата:
|
vadblm, А нельзя никак без RAID..? Просто если с RAID, то на мой взгляд намного дешевле и логичнее подходит именно PROMISE NS 4600 .
|
Цитата:
Цитата:
Цитата:
|
Цитата:
|
Цитата:
Знаю только одно. Если иметь 25 полных дисков по 2 ТБайта и 4 таких же пустых, то можно преобразить все диски потихоньку в RAID массивы по 4 диска. Т.е. требуется подобие PROMISE, но высокоскоростной. Может кто подскажет..? |
Преобразовать отдельные диски в RAID массив можно только в случае RAID 1 (зеркала). Что не ваш случай. Во всех остальных случаях никак преобразовать нельзя, при создании массивов уровней 0, 5, 6 и вложенных вся информация на дисках уничтожается. Способ преобразования лишь один - переложить данные в другое место, создать массив, вернуть данные обратно. Чудес не бывает, хотя в некоторых реализациях RAID массивы можно расширять, добавлением дисков в уже существующий массив, но вот создавать с нуля без потери данных - никак.
|
Цитата:
1) Преобразовываем пустые 4 диска в RAID массив 2) Переносим туда данные с 4ёх полных дисков 3) После переноса, преобразовываем диски из пункта 2. в RAID массив 4) Переносим со следующих 4-ёх на них и т.д. :) Только найти бы девайс, который может содержать 4 диска по 2 ТБайта и работает с данными по сети на скорости 1000 Мбит/с.. Есть ли такой вообще..? |
Цитата:
Фишка в том, что при разных интерфейсах и протоколах всегда найдётся "бутылочное горлышко". |
Цитата:
|
|
Цитата:
Цитата:
В общем, чтоб была требуемая емкость, скорость, надежность, нужно чтоб все диски были подключены к одному RAID-контроллеру/массиву. |
Цитата:
Цитата:
|
Цитата:
|
Цитата:
|
Да в том то и дело, что современным дискам пропажа питания физическими повреждениями не грозит - уже лет 10 все диски имеют механизмы аварийной парковки блока головок. Логические повреждения структуры ФС или RAID - могут быть и в случае RAID эти повреждения могут быть катастрофическими для данных, кстати потому у приличных RAID контроллеров есть блок BBU (впрочем зачастую опциональный, так как относительно дорог) - как говорится, на UPS надейся, но и сам не плошай.
Физической же смерти диска диска могут посодействовать такие факторы как некачественное питание (нехватка мощности БП, "гуляющие" напряжения), температура (как низкая, так и высокая), вибрации, ударное воздействие, влажность, атмосферное давление и даже неявный заводской брак, ошибка в firmware например. От всего этого UPS не спасает. Просто вы пропажу питания вывели как основной фактор повреждения, ну или мне так показалось, в то время как это далеко не так. Цитата:
|
Цитата:
Цитата:
Цитата:
Цитата:
Цитата:
Цитата:
P.S. Вы как-будто отговариваете :) Больше оптимизма! |
Цитата:
Цитата:
|
Не в качестве начала каких-либо споров, только для того, чтобы люди наконец начали снимать фильм :) (Уж очень хочется побыстрей получить контр-марку на премьеру):
Цитата:
Цитата:
Цитата:
|
|
vadblm, по моему мнению, Вы друг друга не поняли и маленько запутались :)
Цитата:
AzazeLHAck, тема начинает идти по кругу или топтаться на месте :). Подытожьте промежуточные/окончательные решения (желательно развёрнутые, чтобы другие пользователи могли или согласиться или подправить Ваше понимание/видение) по: - оборудование; - метод хранения (RAID, какой? / не RAID). |
Насчёт общего решения, ну вот не придумывается ничего. Но попробую систематизировать возможные варианты.
1. Использовать промышленную СХД. Дорого, надёжно. 2. Использовать внутренний железный RAID контроллер, но тут нужно либо искать огромный корпус либо делать самому - ибо корпус с 25 3.5" отсеками я какбе и не видел. Дешевле промышленной СХД, но тоже дорого и вполне надёжно. 3. Использовать несколько внутренних контроллеров, умеющих PMP и соответственно несколько PMP с полкой. Дёшево, ненадёжно и медленно. 4. Комбинировать варианты 2 и 3. 5. Bспользовать дешёвые SOHO NAS. Медленно и ненадёжно. |
vadblm, п.1 или п.2
Думаю, надо остановиться и выслушать соображения AzazeLHAck |
vadblm, IgNat, Ну вы и разогнались :) Но большое спасибо за внимание к теме и за оказываемую помощь :)
Я писал, но никто не ответил: Цитата:
1) Большие, тяжёлые и дорогие дисковые массивы (полки и контроллеры) решим взять только если другого выхода не будет. 2) Перевезти в алюминиевых кейсах (с мягкой губкой внутри) 25-30 хардов (в один помещается 10 штук (проверено)) будет намного легче и проще, чем везти промышленную СХД с полкой расширения и дисками. Поэтому лучше будет если массивы будут по 4-6 дисков. Такие, как RNDP6620. 3) Насчёт надёжности: У меня и у друзей 6 хардов, которые мы используем уже лет по 5-6. Все данные свои всегда храним там, два из них даже роняли со стола на пол (нечаянно конечно), использовали без стабилизатора при слабом напряжении (~ 130 Вольт), и при всём этом они до сих пор прекрасно работают. Естественно все 25 дисков будут проверены на работоспособность специальными утилитами, тестирующими жёсткие диски. Остальные варианты повреждения, такие как вибрации, ударное воздействие, влажность, давление, падение метеорита, всемирная катастрофа итак понятны. Монтаж не будет происходить на дне океана или под прямыми солнечными лучами. Внезапная, необъяснимая смерть диска всегда может произойти, так что давайте на эту тему не напрягаться ;) Мы возьмём кучу Blu-Ray дисков и забэкапим на них все данные и надёжно будем хранить, чтобы избежать невосстановимой потери. Из предложенных vadblm вариантов подходит 2ой: Цитата:
Если использовать RAID-контроллер, как PCI карту, то какой лучше, и сколько их потребуется? Материнка будет: GIGABYTE X58A-UD3R. |
Цитата:
Цитата:
Цитата:
Цитата:
Цитата:
Цитата:
Цитата:
Цитата:
|
Цитата:
|
Цитата:
|
Цитата:
Цитата:
Цитата:
Цитата:
Цитата:
Цитата:
ЦП: INTEL CORE I7 950 3.06GHz 4.8GT/s 8MB 64BIT 1366p Кулер: SpinQ VT МП: GIGABYTE X58A-UD3R ОЗУ: 6 GB DDR3 2000MHz XTREEM (3X2GB) CL9 Видео: ZOTAC GTX480(384Bit)1536MB GDDR5 TV DUAL DVI Аудио: CREATIVE AUDIGY VALUE 7.1 Монитор: HP ZR30w 30-inch S-IPS LCD Monitor Корпус: Thermaltake Armor VH6000BWS БП: XILENCE XP1000 Цитата:
Цитата:
Цитата:
Цитата:
|
Цитата:
GTX 480 я правда не очень понимаю зачем. Если есть желание потратить деньги, то лучше уж на карточку из семейства Quadro. От игровой грелки проку не особо много при монтаже ;) имхо. Кстати ещё возражу против покупки оверклокерской памяти - выигрыш сомнителен, а шанс оказаться у разбитого корыта высок. Ну её к чёрту. Ну и БП для всего зоопарка слабоват. Только диски сожрут порядка 500Вт, у крокодила GTX 480 тоже недурной аппетит. Да и у проца. Цитата:
Избыточность (redundancy) это способ повышения отказоустойчивости (fault tolerance) компонентов полным или частичным дублированием. Вспомните, что я вам говорил про RAID 6 страницу назад. ;) |
Цитата:
Цитата:
Цитата:
Цитата:
Цитата:
|
Цитата:
Цитата:
Цитата:
PS Вообще конфигурация выглядит так, словно мажору-лоху с толстым кошельком впаривают игровой комп абы подороже. |
Цитата:
Цитата:
Windows 7 параллельно с Mac OS X через программу Parallel Desktop Final Cut Studio 3 в котором проходит композитинг HD видео 280 Мбит/с Propellerhead Reason 4 Apple Logic Pro Несколько программ Adobe (AfterEffects, Photoshop, Illustrator) Kaspersky Internet Security 2010 Ну и прочие мелочи. Мы выбрали оборудование, насколько нам кажется, мощное и из класса Home, потому как Professional стоит в несколько раз дороже. Цитата:
Всё же, давайте не отходить от темы. Конфигурацию скоро обсудим в соответствующем разделе. :) Можете подробнее рассказать о соединении дисков через предлагаемые RAID контроллеры. На что будет это всё похоже..? Цитата:
|
Цитата:
Я ж говорю, что против вашей конфигурации принципиальных возражений не имею. Но можете посмотреть на вот такую мамку Цитата:
Цитата:
|
Цитата:
вот вот и вот Цитата:
Цитата:
|
Цитата:
|
Цитата:
Цитата:
i7 и C2D немного разные вещи. Взять хотя бы количество ядер :). И какой 53-й? 53хх? Есть еще нюансы. Не касаемые производительности но все же 53xx (s771) - процы, для двухсокетных (или, может и более) материнок i7 не поддерживает память с коррекцией ошибок |
|
Цитата:
Цитата:
Код:
CPU: Intel(R) Xeon(R) CPU E5335 @ 2.00GHz (2004.98-MHz K8-class CPU) |
vadblm, :lol:
Цитата:
Цитата:
|
dascon, гражданин модератор, имхо вы несколько неадекватно для своего звания себя ведёте. Помимо лол есть что сказать?
Цитата:
|
Цитата:
ОПК 3.13, последнее предупреждение. |
Цитата:
Цитата:
Цитата:
|
Цитата:
7-и дней на просмотр хватит. |
Цитата:
Цитата:
|
Ой, ребята, зачем же так серьёзно воспринимать все эти споры :)
В общем, понятно. Действительно составляющие компьютера нужно заново рассмотреть. Видеокарту можно взять Nvidia Quadro FX 5800. Процессор Intel Xeon 5680. Осталось подобрать материнку. ОЗУ наверное хватит 6-8 ГБайт. Два RAID контроллера по 16 портов. Самодельный хорошо охлаждающийся системный корпус, где будет 2 масссива по 12-14 дисков, блок питания, UPS. В принципе, всё понятно. Разобрался. Просто не знал, что такое Workstation. Спасибо всем, ребята! Дальше буду сам изучать всё через Гогголь :) |
Цитата:
|
Цитата:
Цитата:
|
Исходя из этого:
Цитата:
AzazeLHAck, накопятся вопросы, не решаемые ч/з Google и т.п., напишите любому модератору, откроем. |
Время: 23:12. |
Время: 23:12.
© OSzone.net 2001-