Началось все с того, что захотелось мне получить сертификат RHCDS, благо RHCE уже есть, а с большинством из требуемых технологий имел знакомство или даже опыт использования в продакшне. Из требований к этой сертификации можно увидеть, что необходимо разбираться в Sattelite/Spacewalk-е, RHDS, GFS, Cluster, RHEV/oVirt. И если с первыми тремя вполне можно играться на виртуалках, то с кластером/виртуализацией на обычном "домашнем" железе особо не поковыряться.
Поскольку начальство жмется за каждую копейку, то вопрос о покупке какого-либо оборудования просто на"поиграться" "изучение новых технологий" для админского отдела даже не стоит. Имеющееся оборудование уже используется в боевом режиме и лишнего нет, а из неиспользованого старья нет ничего с поддержкой аппаратной виртуализации и/или ipmi.
Посему - в жопу всех, будем строить свой лунапарк у себя дома. Конечно, раз это домашнее предприятие - производительность оборудования будет на последнем месте, а на первых - поддержка необходимых технологий, минимальная цена и уровень шума.
Хост-системы:
Сеть:
Все это оборудование необходимо объединить в единую сеть, по минимуму - это обычный 5-портовый свитч или домашний вайфай роутер, но я решил развлекаться по-полной и использовать свитч с поддержкой большинства "взрослых" фич.
Самым дешевым таким свитчом оказался tp-link TL-SG3210 (8-port, 10/100/1000, 2SFP, CLI, vlan, jumbo, 802.3ad и т.п.).
В качестве маршрутизатора, dns, dhcp и шлюза в инет - wifi-роутер tp-link tl-wr1043nd с прошивкой dd-wrt.
Поскольку начальство жмется за каждую копейку, то вопрос о покупке какого-либо оборудования просто на
Посему - в жопу всех, будем строить свой лунапарк у себя дома. Конечно, раз это домашнее предприятие - производительность оборудования будет на последнем месте, а на первых - поддержка необходимых технологий, минимальная цена и уровень шума.
Состав стенда
Для проверки всех фишек и возможностей RH Cluster или RHEV/oVirt необходимо следующее:
- общее хранилище NFS/FC/iSCSI
- оборудование с управлением питанием по одной из схем, реализованных в пакете fence-agents (ipmi / ilom / drac и т.п.)
- не менее 2х хостов с поддержкой аппаратной виртуализации
Сторадж:
В качестве стораджа будет выступать "домашняя файлопомойка", какая есть думаю у большинства админов. В моем случае это следующая конфигурация:
- корпус CFI-A9849CC-P (mini-dtx, на 2 hot-swap hdd + 1 non-HS)
- мать biostar A68I-350 Deluxe (mini-itx, amd E-350, AMD-V support)
- 3 HDD 500Gb
- память ddr3 8Gb
- адаптер Dell Broadcom 5720 (dual-port 1Gb NIC)
Материнку специально брал на amd, т.к., в отличие от atom-ов, имеет поддержку аппаратной виртуализации. А для ovirt-а необходима машина с engine-ом, не состоящая в кластере. Дополнительный делловский адаптер - для развлечений с bonding-ом, jumbo-фреймами,
vlan-ами и т.п.; встроенный realtek под fedora-17 зависал при включении jumbo-фреймов.
На такой конфигурации можно будет реализовать хранилище на NFS/iSCSI .
vlan-ами и т.п.; встроенный realtek под fedora-17 зависал при включении jumbo-фреймов.
На такой конфигурации можно будет реализовать хранилище на NFS/iSCSI .
Хост-системы:
Для хост-систем необходимо управление питанием, а значит все "домашнее" железо отпадает - на нем нет ipmi или аналогов (из новинок появился intel vPRO, но пока это редкость и, самое главное, под него нет fence-агента, стандарту ipmi он не соответствует).
Поэтому необходима серверная материнка с поддержкой ipmi или аналогов.
Немного погуглив, я остановился на SuperMicro X9SCL-F - относительно дешевая (~6000р), IPMI, поддержка core i3 21XX (можно поставить дешевый проц, а не тратится на Xeon-ы), mATX. Корпус, раз уж это для дома - должен быть минимальным по размерам; необходимости в слотах расширения нет, куча винтов тоже не нужна (у нас есть сторадж), можно вообще ограничиться флешкой/ссд.
Конфиг в результате получился такой:
Поэтому необходима серверная материнка с поддержкой ipmi или аналогов.
Немного погуглив, я остановился на SuperMicro X9SCL-F - относительно дешевая (~6000р), IPMI, поддержка core i3 21XX (можно поставить дешевый проц, а не тратится на Xeon-ы), mATX. Корпус, раз уж это для дома - должен быть минимальным по размерам; необходимости в слотах расширения нет, куча винтов тоже не нужна (у нас есть сторадж), можно вообще ограничиться флешкой/ссд.
Конфиг в результате получился такой:
- мать SuperMicro X9SCL-F
- проц INTEL Core i3 2120
- корпус ATX EZCOOL R-120B
- кулер DEEPCOOL GAMMA ARCHER
- память Kingston KVR1333D3E9S/4G - 2шт
- флешка на 16гб в качестве винта
С памятью вышел небольшой прокол - изначально я планировал использовать обычную ddr3 без ECC (т.к. в спецификации на i3 написано, что ECC он не поддерживает), но с обычной ddr3 мать не завелась, равно и как с registered DDR3 ECC. В результате пришлось покупать именно память из compatibility-листа на мать. Корпус тоже вышел больше, чем я ожидал, наверное такая мать могла влезть и в mini-itx корпус а-ля LinkWorld LC-920 или Foxconn RS-233.
Сеть:
Все это оборудование необходимо объединить в единую сеть, по минимуму - это обычный 5-портовый свитч или домашний вайфай роутер, но я решил развлекаться по-полной и использовать свитч с поддержкой большинства "взрослых" фич.
Самым дешевым таким свитчом оказался tp-link TL-SG3210 (8-port, 10/100/1000, 2SFP, CLI, vlan, jumbo, 802.3ad и т.п.).
В качестве маршрутизатора, dns, dhcp и шлюза в инет - wifi-роутер tp-link tl-wr1043nd с прошивкой dd-wrt.
Инфраструктура
Основу всего стенда составляет сервачок-хранилище, на нем разворачивается вся инфраструктура.
В качестве операционки - fedora 17, т.к. grub2 из коробки (а, значит, md raid5 из целых дисков, а не порнография с отдельными разделами и 3 копиями /boot на каждом винте), свежий qemu-kvm (1.0+, а не 0.12 как в centos) и ядерный LIO (iscsi-target с заявленной поддержкой SPC-4 persistent reservation).
Разбивка дисков - ессно LVM, часть под домашнюю файлопомойку, часть под виртуалки/iscsi-target-ы .
Из саппорт-софта - samba и zabbix для мониторинга.
Помимо всего этого, подняты 2 виртуалки (вот где amd-v пригодилось) - одна под spacewalk, одна под ovirt-engine. Виртуалки - чтобы не разводить бардак на самом сторадж-севере, т.к. в процессе экспериментов они будут по n-раз переустанавливаться, роняться, убиваться и т.п.
На хост-системах - в зависимости от экспериментов, centos/fedora/ovirt-node-image. Для удобства управления и простоты переуставки и поднята виртуалка со spacewalk-ом; pxe boot->kickstart->profit!
В качестве операционки - fedora 17, т.к. grub2 из коробки (а, значит, md raid5 из целых дисков, а не порнография с отдельными разделами и 3 копиями /boot на каждом винте), свежий qemu-kvm (1.0+, а не 0.12 как в centos) и ядерный LIO (iscsi-target с заявленной поддержкой SPC-4 persistent reservation).
Разбивка дисков - ессно LVM, часть под домашнюю файлопомойку, часть под виртуалки/iscsi-target-ы .
Из саппорт-софта - samba и zabbix для мониторинга.
Помимо всего этого, подняты 2 виртуалки (вот где amd-v пригодилось) - одна под spacewalk, одна под ovirt-engine. Виртуалки - чтобы не разводить бардак на самом сторадж-севере, т.к. в процессе экспериментов они будут по n-раз переустанавливаться, роняться, убиваться и т.п.
На хост-системах - в зависимости от экспериментов, centos/fedora/ovirt-node-image. Для удобства управления и простоты переуставки и поднята виртуалка со spacewalk-ом; pxe boot->kickstart->profit!
Бюджет
- сторадж-сервер: 13800
- хост-система: 14400 х2
- сеть: 5500
Резюме
Получился тестовый стенд за 50к, на котором можно без проблем обкатывать и тестировать большинство фишек enterprise-level виртуализации и кластеризации, а так же некоторые сетевые фишки, деплоймент систем.
Комментариев нет:
Отправить комментарий