Песочница →
Миграция физического и виртуального сервера VMware
Жил да был сервер в далекой стране. По техническим характеристикам для своего времени он был не плох — Intel Core Quad Q6600 2.4GHz 8GB RAМ Intel DQ965GF motherboard, 3ware7xxx/8xxx raid controller и 2 SATA диска по 300GB в raid 1 масcиве.
И вот однажды решил на этом сервере один из дисков в raid умереть — а раз решил, то и умер. Естественно было предположить, где один диск умер, там и второй умереть может — надо менять. Да и расширить дисковое пространство не помешает, подумали мы.
Кое-как с грехом пополам купили новые 2TB диски — кризис и в далеких буржуйских странах был с жесткими дисками. Сервер был критически важным, но выключать и мучать его можно было некоторое время — были дублеры.
Решили мы обновить и программное обеспечение…
На сервере была CentOS 4.5 x64, старая замученная, установлен vmware server 2-й и под сервером уже было три виртуальным машины с windows 2003 server с ms sql и кое-какими программами, freebsd и suse. За давностью лет, из важного нужна была только windows и в будущем планировалось туда еще несколько виртуальных машин подсадить — значит надо платформу менять.
Остановились на vSphere hypervisor — а по простому ESXi. Проштудировав интернет — не нашел опыта установки ESXi на такое конкретное железо — могла не заработать сетевая карта Intel 82556DM и raid контроллер — поиск в официальном списке совместимости не давал положительного результата. Ставить дополнительную сетевую карту было бы неудобно и по времени затянулось бы. Ну и без raid можно было обойтись.
В общем решили попробовать. Пишу письмо в техническую поддержку, чтобы поставили новые винчестеры и проинсталлировали esxi 5.0. Через некоторое время ответили, что поставили esxi 4.1u1, что raid не увиделся, но на встроенном контроллере ICH работает и видно оба винчестера. Дали пароль, чтобы мы сходили на это счастье посмотрели.
Сходили посмотрели. Вроде работает. Теперь задача вторая — миграция виртуальной машины windows server 2003 из vmware server в vmware vphere hypervisor среду. Придумали несколько вариантов —
первый закачать в сторадж образ диска или готовую виртуальную машину с centos/linux и подключить старые диски как Raw devices mapping, поставить конвертер и сконвертировать в esxi.
второй — попробовать банально примонтировать раздел ext3 к esxi — но к сожалению это вроде как невозможно.
третий — скопировать по SCP/FTP/HTTP куда-нибудь в другое место, сконвертировать там и потом скопировать обратно по SCP или через vclient.
четвертый — поставить внутри старой centos vmware converter и сконвертировать на месте.
пятый — поднять еще виртуальную машину с windows и поставить туда конвертер.
Пока думали — техническая поддержка вставила диски в USB-SATA переходник и подключила к серверу — голый ESXi, конечно, не смог понять что можно сделать с этим вариантом. Потом они написали, что сомневаются, чтобы raid массив увидеться кроме как из родной для него операционной системы.
Попробовали поставить конвертер в Centos — поставили, но подключиться к нему удаленно почему-то не получалось — возможно из-за нестандартных портов, указанных при установке конвертера, так как стандартные были заняты. Ну и подумав, показалось, что вся виртуальная машина сначала скачается через клиента ко мне на локальную машину, а потом обратно — 30 гиг траффика и не дай бог интернет отвалиться — в общем ненадежный вариант.
Плюс конвертер просто так в файл машину не конвертирует — обязательно требует подключения или к хосту или к vCenter.
Примонтировать не пробовали разделы ext3 к esxi — в опциях команды mount не увидели ext3 типа файловой системы — может плохо глядели.
В общем сделали так — я запаковал файлы виртуальной машины и скачал их себе на компьютер. Поставил у себя vmware конвертер и сконвертировал в местный esxi хост. Для надежности и совместимости подключился по ssh к местному esxi и сархивировал выключенную виртуальную машину с помощью tar — каталоги виртуальных машин находяться в /vmfs/volumes/datastore/. Параметр z сжимает архив.
Получился файл 7Гбайт из 17Гбайт.
Написал в техническую поддержку, чтобы поставили новые винчестеры и запустили esxi. Потом подключился к удаленному esxi программой WinSCP и стал заливать архив. Скорость просто убила — 30кБ/сек, примерно 3 суток копирования. Как потом выяснилось, докачка не поддерживается, tar в esxi не умеет работать вроде бы с разбитыми на части архивами. На всякий случай решил попробовать стандартным vclient закачать архив в хранилище — скорость оказалась примерно в 10 раз больше и за 7 часов архив закачался.
Потом зашел по ssh в удаленный esxi и распаковал tar ом виртуальную машину, добавил в Inventory и запустил. Обновил vmware tools, сетевую карту и восстановил сетевые настройки.
Для повышения надежности создал виртуальную машину с windows 2003 server (чтобы работала технология сжатия памяти vmware и тратилось меньше ресурсов). В обе машины добавил еще по одной сетевой карте с «серыми» IP адресами, создал еще один vSwitch, добавил в него VMKernel, поставил галочку Management traffic в нем и назначил ip адрес из того же «серого» диапазона. Поставил и настроил veeam backup. Для уменьшения платного трафика через интернет и для безопасности, veeam подключается к esxi через «серый» ip адрес и делает копии виртуальных машин с одного винчестера хранилища на второй — чтобы в случае выхода из строя можно было быстро восстановить работоспособность.
Если бы не медленная скорость копирования через интернет — то простой составил бы минут 30-ть максимум.
Вероятней всего, кое-какие варианты миграции мы упустили — может кто подскажет умных мыслей, так как предстоит еще пара примерно таких же задач по миграции.
И вот однажды решил на этом сервере один из дисков в raid умереть — а раз решил, то и умер. Естественно было предположить, где один диск умер, там и второй умереть может — надо менять. Да и расширить дисковое пространство не помешает, подумали мы.
Кое-как с грехом пополам купили новые 2TB диски — кризис и в далеких буржуйских странах был с жесткими дисками. Сервер был критически важным, но выключать и мучать его можно было некоторое время — были дублеры.
Решили мы обновить и программное обеспечение…
На сервере была CentOS 4.5 x64, старая замученная, установлен vmware server 2-й и под сервером уже было три виртуальным машины с windows 2003 server с ms sql и кое-какими программами, freebsd и suse. За давностью лет, из важного нужна была только windows и в будущем планировалось туда еще несколько виртуальных машин подсадить — значит надо платформу менять.
Остановились на vSphere hypervisor — а по простому ESXi. Проштудировав интернет — не нашел опыта установки ESXi на такое конкретное железо — могла не заработать сетевая карта Intel 82556DM и raid контроллер — поиск в официальном списке совместимости не давал положительного результата. Ставить дополнительную сетевую карту было бы неудобно и по времени затянулось бы. Ну и без raid можно было обойтись.
В общем решили попробовать. Пишу письмо в техническую поддержку, чтобы поставили новые винчестеры и проинсталлировали esxi 5.0. Через некоторое время ответили, что поставили esxi 4.1u1, что raid не увиделся, но на встроенном контроллере ICH работает и видно оба винчестера. Дали пароль, чтобы мы сходили на это счастье посмотрели.
Сходили посмотрели. Вроде работает. Теперь задача вторая — миграция виртуальной машины windows server 2003 из vmware server в vmware vphere hypervisor среду. Придумали несколько вариантов —
первый закачать в сторадж образ диска или готовую виртуальную машину с centos/linux и подключить старые диски как Raw devices mapping, поставить конвертер и сконвертировать в esxi.
второй — попробовать банально примонтировать раздел ext3 к esxi — но к сожалению это вроде как невозможно.
третий — скопировать по SCP/FTP/HTTP куда-нибудь в другое место, сконвертировать там и потом скопировать обратно по SCP или через vclient.
четвертый — поставить внутри старой centos vmware converter и сконвертировать на месте.
пятый — поднять еще виртуальную машину с windows и поставить туда конвертер.
Пока думали — техническая поддержка вставила диски в USB-SATA переходник и подключила к серверу — голый ESXi, конечно, не смог понять что можно сделать с этим вариантом. Потом они написали, что сомневаются, чтобы raid массив увидеться кроме как из родной для него операционной системы.
Попробовали поставить конвертер в Centos — поставили, но подключиться к нему удаленно почему-то не получалось — возможно из-за нестандартных портов, указанных при установке конвертера, так как стандартные были заняты. Ну и подумав, показалось, что вся виртуальная машина сначала скачается через клиента ко мне на локальную машину, а потом обратно — 30 гиг траффика и не дай бог интернет отвалиться — в общем ненадежный вариант.
Плюс конвертер просто так в файл машину не конвертирует — обязательно требует подключения или к хосту или к vCenter.
Примонтировать не пробовали разделы ext3 к esxi — в опциях команды mount не увидели ext3 типа файловой системы — может плохо глядели.
В общем сделали так — я запаковал файлы виртуальной машины и скачал их себе на компьютер. Поставил у себя vmware конвертер и сконвертировал в местный esxi хост. Для надежности и совместимости подключился по ssh к местному esxi и сархивировал выключенную виртуальную машину с помощью tar — каталоги виртуальных машин находяться в /vmfs/volumes/datastore/. Параметр z сжимает архив.
Получился файл 7Гбайт из 17Гбайт.
Написал в техническую поддержку, чтобы поставили новые винчестеры и запустили esxi. Потом подключился к удаленному esxi программой WinSCP и стал заливать архив. Скорость просто убила — 30кБ/сек, примерно 3 суток копирования. Как потом выяснилось, докачка не поддерживается, tar в esxi не умеет работать вроде бы с разбитыми на части архивами. На всякий случай решил попробовать стандартным vclient закачать архив в хранилище — скорость оказалась примерно в 10 раз больше и за 7 часов архив закачался.
Потом зашел по ssh в удаленный esxi и распаковал tar ом виртуальную машину, добавил в Inventory и запустил. Обновил vmware tools, сетевую карту и восстановил сетевые настройки.
Для повышения надежности создал виртуальную машину с windows 2003 server (чтобы работала технология сжатия памяти vmware и тратилось меньше ресурсов). В обе машины добавил еще по одной сетевой карте с «серыми» IP адресами, создал еще один vSwitch, добавил в него VMKernel, поставил галочку Management traffic в нем и назначил ip адрес из того же «серого» диапазона. Поставил и настроил veeam backup. Для уменьшения платного трафика через интернет и для безопасности, veeam подключается к esxi через «серый» ip адрес и делает копии виртуальных машин с одного винчестера хранилища на второй — чтобы в случае выхода из строя можно было быстро восстановить работоспособность.
Если бы не медленная скорость копирования через интернет — то простой составил бы минут 30-ть максимум.
Вероятней всего, кое-какие варианты миграции мы упустили — может кто подскажет умных мыслей, так как предстоит еще пара примерно таких же задач по миграции.
17.01.2012 20:41+0400