По мотивам сбоя СДЭК

[ Версия для печати ]
Добавить в Telegram Добавить в Twitter Добавить в Вконтакте Добавить в Одноклассники
Страницы: (9) [1] 2 3 ... Последняя »  К последнему непрочитанному [ ОТВЕТИТЬ ] [ НОВАЯ ТЕМА ]
1vova1
28.05.2024 - 15:06
Статус: Offline


Шутник

Регистрация: 24.06.13
Сообщений: 62
148
Прочитал про падение серверов СДЭК и прямо до мелочей вспомнил, как почти 7 лет назад принимал участие в устранении последствий вируса-шифровальщика.

7 лет назад я работал в крупной компании, и так как за два года до события я работал там же администратором баз данных, то меня тоже пригласили помогать в процессе поднятия серверов БД.

Всем, кто смеётся над рукожопостью IT-шников и отсутствию бэкапов, хотел бы рассказать как это выглядит в реале.

Если речь про шифровальщики, то он шифрует все компьютеры подряд: рабочие станции пользователей, контроллеры доменов, серверы резервного копирования, рядовые серверы, в общем всё, до чего сможет дотянуться по сети.

Прежде чем что-либо восстанавливать нужно найти выживший контроллер домена, если такого нет и нет бэкапа, то придётся строить инфраструктуру с нуля. Контроллер домена - это такой главный сервер в инфраструктуре, в котором содержится база данных всех пользователей, компьютеров, серверов и т.д. В нашем случае нам повезло и у нас такие нашлись. Параллельно начали поднимать серверы резервного копирования, по сути нужно взять и установить всё с нуля и подцепить к нему базу бэкапов.

Ну и после поднятия началась планомерная работа по восстановлению наиболее критичных систем.

Пока сисадмины возились с контроллерами я выработал схему восстановления серверов БД не прибегая к бэкапам. Повезло в том, что вирус не тронул файлы БД, а шифровал только офисные файлы, текстовые и системные каталоги Windows.

Процесс выглядел вот таким образом:
1. С диска c: копируются все файлы системных БД СУБД MSSQL(master, model, msdb и mssqlsystemresource) хоть на usb-флешку, т.к. они имеют небольшой размер. Если рабочие базы лежат на системном диске, то и их тоже. Кроме того можно посмотреть каталог C:\Program Files\Microsoft SQL Server\{version}\Setup Bootstrap\Update Cache, чтобы понимать какие обновления были установлены ранее.
2. Форматируется системный раздел и заново ставится ОС.
3. Заводим сервер в домен.
4. Устанавливаем SQL Server и все обновления, которые были на сервере до этого.
5. Останавливаем службы SQL и заменяем системные базы старыми(новенькие можно куда-нибудь скопировать на всякий случай, вдруг что-то пойдёт не так).
6. Запускаем SQL Server и проверяем получилось или нет.

В процессе установки ОС у подключенных дисков могут стать несколько иными буквы дисков, но в принципе при подключении старой базы master и в логах SQL Server можно увидеть нужные пути до баз и просто переименовать буквы дисков.

С кластерами всё работает точно так же, просто процесс установки дольше, т.к. установить SQL и обновления нужно на все ноды

Вот такой простой подход позволил восстановить все серверы БД SQL Server без потерь в данных.

Вдруг кому пригодится в будущем.
 
[^]
Yap
[x]



Продам слона

Регистрация: 10.12.04
Сообщений: 1488
 
[^]
ILoveEMO
28.05.2024 - 15:08
106
Статус: Online


Ярила

Регистрация: 20.11.08
Сообщений: 5030
Вам че профильных форумов мало?

Размещено через приложение ЯПлакалъ
 
[^]
barsuk11
28.05.2024 - 15:12
57
Статус: Offline


Ярила

Регистрация: 10.11.18
Сообщений: 4134
Спасибо, было интересно

Размещено через приложение ЯПлакалъ
 
[^]
barsuk11
28.05.2024 - 15:12
92
Статус: Offline


Ярила

Регистрация: 10.11.18
Сообщений: 4134
Цитата (ILoveEMO @ 28.05.2024 - 15:08)
Вам че профильных форумов мало?

Тебе не интересно,, не мешай

Размещено через приложение ЯПлакалъ
 
[^]
Andronik1
28.05.2024 - 15:12
10
Статус: Offline


Весельчак

Регистрация: 22.11.13
Сообщений: 155
ТС, вот мне строителя не понятны твои монологи. Давай я тебе сейчас задвину про технологии строительства и оформление земли под котеджных посёлок в МО!

Размещено через приложение ЯПлакалъ
 
[^]
Xollms
28.05.2024 - 15:14
10
Статус: Offline


Холмс, Шерлок Холмс

Регистрация: 28.01.11
Сообщений: 8180
Цитата (barsuk11 @ 28.05.2024 - 15:12)
Цитата (ILoveEMO @ 28.05.2024 - 15:08)
Вам че профильных форумов мало?

Тебе не интересно,, не мешай

ото ж, хоть примерно, но понятно bravo.gif
 
[^]
Aberrant
28.05.2024 - 15:16
45
Статус: Offline


На фоксе! Всегда!

Регистрация: 3.10.20
Сообщений: 2881
уже каникулы начались - мамкины одмины теперь часто будут заводить серверы SQL в домены faceoff.gif
 
[^]
1vova1
28.05.2024 - 15:17
13
Статус: Offline


Шутник

Регистрация: 24.06.13
Сообщений: 62
Цитата (ILoveEMO @ 28.05.2024 - 15:08)
Вам че профильных форумов мало?

Так нет профильного, был SQL.ru и закончился. А тут охват шире. Да и по большому счёту часть админов сейчас ничем не заняты, т.к. ждут поднятия инфраструктуры и сёрфят интернет.
 
[^]
horseradish
28.05.2024 - 15:19
16
Статус: Offline


Юморист

Регистрация: 14.05.22
Сообщений: 503


Размещено через приложение ЯПлакалъ

По мотивам сбоя СДЭК
 
[^]
Урхан
28.05.2024 - 15:20
10
Статус: Offline


Ярила

Регистрация: 27.10.14
Сообщений: 9551
...

По мотивам сбоя СДЭК
 
[^]
uzhigan
28.05.2024 - 15:21
11
Статус: Offline


Шутник

Регистрация: 4.07.14
Сообщений: 58
Щас они почитают тут как это делается и все наладят, делов то, спасибо что подсказал.
 
[^]
Modigar
28.05.2024 - 15:21
57
Статус: Offline


Ярила

Регистрация: 15.07.11
Сообщений: 4995
Цитата
С диска c: копируются все файлы системных БД СУБД MSSQL(master, model, msdb и mssqlsystemresource) хоть на usb-флешку, т.к. они имеют небольшой размер. Если рабочие базы лежат на системном диске, то и их тоже. Кроме того можно посмотреть каталог C:\Program Files\Microsoft SQL Server\{version}\Setup Bootstrap\Update Cache

вот это вообще пиздец...
хотя я линуксоид, и в вендах ничо не понимаю, но хранить на системном диске базы, это выше моего понимания.
хотя наверное никто не парится при установке софта "далее"-"далее" жамкают, посто же хуле, юзер-френдли ёбанаврот

Это сообщение отредактировал Modigar - 28.05.2024 - 15:22
 
[^]
vaisman
28.05.2024 - 15:24
51
Статус: Online


Ярила

Регистрация: 10.03.14
Сообщений: 26749
1vova1
Цитата
Если речь про шифровальщики, то он шифрует все компьютеры подряд: рабочие станции пользователей, контроллеры доменов, серверы резервного копирования, рядовые серверы, в общем всё, до чего сможет дотянуться по сети.

Чобля? Это он как контроллеры доменов, через административные шары чтоль шифровать будет?

Чобля номер 2, с какого хуя сервер бэкапов торчит в ту же локалку что и пользовательские да еще и общедоступными шарами? В норме вообще наружу из серверной торчит только то, что необходимо для работы, все остальное спрятано, благо для этого есть масса средств.

Буквы дисков у него...господи.
 
[^]
cpollux
28.05.2024 - 15:24
15
Статус: Offline


Весельчак

Регистрация: 26.11.12
Сообщений: 133
Цитата (Modigar @ 28.05.2024 - 15:21)
Цитата
С диска c: копируются все файлы системных БД СУБД MSSQL(master, model, msdb и mssqlsystemresource) хоть на usb-флешку, т.к. они имеют небольшой размер. Если рабочие базы лежат на системном диске, то и их тоже. Кроме того можно посмотреть каталог C:\Program Files\Microsoft SQL Server\{version}\Setup Bootstrap\Update Cache

вот это вообще пиздец...
хотя я линуксоид, и в вендах ничо не понимаю, но хранить на системном диске базы, это выше моего понимания.
хотя наверное никто не парится при установке софта "далее"-"далее" жамкают, посто же хуле, юзер-френдли ёбанаврот

я тож в ахуеее еси честна))) там просто ламер какой та или это так сейчас работаит)))) хранить бекапы в сетке))) сиквелы в домене))) образов для восстановления нет))) идити люди в школу нах снова))
 
[^]
1vova1
28.05.2024 - 15:25
4
Статус: Offline


Шутник

Регистрация: 24.06.13
Сообщений: 62
Цитата (Modigar @ 28.05.2024 - 15:21)
Цитата
С диска c: копируются все файлы системных БД СУБД MSSQL(master, model, msdb и mssqlsystemresource) хоть на usb-флешку, т.к. они имеют небольшой размер. Если рабочие базы лежат на системном диске, то и их тоже. Кроме того можно посмотреть каталог C:\Program Files\Microsoft SQL Server\{version}\Setup Bootstrap\Update Cache

вот это вообще пиздец...
хотя я линуксоид, и в вендах ничо не понимаю, но хранить на системном диске базы, это выше моего понимания.
хотя наверное никто не парится при установке софта "далее"-"далее" жамкают, посто же хуле, юзер-френдли ёбанаврот

Кто платит за ИТ, тот и определяет, будет отдельный диск для баз или нет. Но конечно же строго рекомендуется иметь отдельные диски под базы.
 
[^]
alexavg
28.05.2024 - 15:27
11
Статус: Online


Ярила

Регистрация: 15.12.21
Сообщений: 2938
Ха, поди насоздавали сетевых дисков на свою голову с полным доступом, а потом по-комсомольски боролись с последствиями. Помнится шифровальщики только так через эти диски лезли ко всем подряд

Размещено через приложение ЯПлакалъ
 
[^]
Blatero
28.05.2024 - 15:27
19
Статус: Online


Blatero

Регистрация: 9.05.13
Сообщений: 4434
эта информация
1. специфическая.
2. очевидная для любого мало-мальского специалиста.
в случае с далекими от темы людьми она бесполезна.
в случае со связанными с темой людьми я хз что за секрет полишинеля ты тут открыл.. сбэкапить вручную базы на внешний носитель,переустановить систему и впихнуть все обратно? - не может быть.... какжитак... а пацаны-то и не знают...
я тебе больше скажу - так можно делать не только с msql, но и вообще дохуя с чем, начиная от игрушек, которым подсовывать старые сейвы дети умеют уже в 5 лет..
но хуй знает.. без оценки..
ты старался же..
 
[^]
vaisman
28.05.2024 - 15:28
12
Статус: Online


Ярила

Регистрация: 10.03.14
Сообщений: 26749
Цитата (1vova1 @ 28.05.2024 - 15:25)
Кто платит за ИТ, тот и определяет, будет отдельный диск для баз или нет. Но конечно же строго рекомендуется иметь отдельные диски под базы.

А кто не платит за ИТ, на потеху всей стране бегает с выпученными глазами и ждет, когда клиенты ему глаз на жопу натянут.
 
[^]
Blatero
28.05.2024 - 15:29
17
Статус: Online


Blatero

Регистрация: 9.05.13
Сообщений: 4434
Цитата (cpollux @ 28.05.2024 - 15:24)
Цитата (Modigar @ 28.05.2024 - 15:21)
Цитата
С диска c: копируются все файлы системных БД СУБД MSSQL(master, model, msdb и mssqlsystemresource) хоть на usb-флешку, т.к. они имеют небольшой размер. Если рабочие базы лежат на системном диске, то и их тоже. Кроме того можно посмотреть каталог C:\Program Files\Microsoft SQL Server\{version}\Setup Bootstrap\Update Cache

вот это вообще пиздец...
хотя я линуксоид, и в вендах ничо не понимаю, но хранить на системном диске базы, это выше моего понимания.
хотя наверное никто не парится при установке софта "далее"-"далее" жамкают, посто же хуле, юзер-френдли ёбанаврот

я тож в ахуеее еси честна))) там просто ламер какой та или это так сейчас работаит)))) хранить бекапы в сетке))) сиквелы в домене))) образов для восстановления нет))) идити люди в школу нах снова))

да у них и шифровальщик ламерский какой-то..
системные и текстовые файлы зашифровал... а субд не заметил? молдавский вирус? gigi.gif
 
[^]
1vova1
28.05.2024 - 15:31
2
Статус: Offline


Шутник

Регистрация: 24.06.13
Сообщений: 62
Цитата (Blatero @ 28.05.2024 - 15:27)
эта информация
1. специфическая.
2. очевидная для любого мало-мальского специалиста.
в случае с далекими от темы людьми она бесполезна.
в случае со связанными с темой людьми я хз что за секрет полишинеля ты тут открыл.. сбэкапить вручную базы на внешний носитель,переустановить систему и впихнуть все обратно? - не может быть.... какжитак... а пацаны-то и не знают...
я тебе больше скажу - так можно делать не только с msql, но и вообще дохуя с чем, начиная от игрушек, которым подсовывать старые сейвы дети умеют уже в 5 лет..
но хуй знает.. без оценки..
ты старался же..

Как это ни странно, эта инструкция неочевидна, в других ЦОДах восстанавливались из бэкапов с потерей данных минимум в 1 день.
 
[^]
AlexxWhite
28.05.2024 - 15:36
1
Статус: Offline


Шутник

Регистрация: 14.01.14
Сообщений: 4
Цитата (Modigar @ 28.05.2024 - 15:21)
Цитата
С диска c: копируются все файлы системных БД СУБД MSSQL(master, model, msdb и mssqlsystemresource) хоть на usb-флешку, т.к. они имеют небольшой размер. Если рабочие базы лежат на системном диске, то и их тоже. Кроме того можно посмотреть каталог C:\Program Files\Microsoft SQL Server\{version}\Setup Bootstrap\Update Cache

вот это вообще пиздец...
хотя я линуксоид, и в вендах ничо не понимаю, но хранить на системном диске базы, это выше моего понимания.
хотя наверное никто не парится при установке софта "далее"-"далее" жамкают, посто же хуле, юзер-френдли ёбанаврот

Подпишусь по каждым словом!

В высоконагруженных скулях еще и тпмдб на отдельные диски выносят например dont.gif
 
[^]
cpollux
28.05.2024 - 15:37
5
Статус: Offline


Весельчак

Регистрация: 26.11.12
Сообщений: 133
Цитата (1vova1 @ 28.05.2024 - 15:25)
Цитата (Modigar @ 28.05.2024 - 15:21)
Цитата
С диска c: копируются все файлы системных БД СУБД MSSQL(master, model, msdb и mssqlsystemresource) хоть на usb-флешку, т.к. они имеют небольшой размер. Если рабочие базы лежат на системном диске, то и их тоже. Кроме того можно посмотреть каталог C:\Program Files\Microsoft SQL Server\{version}\Setup Bootstrap\Update Cache

вот это вообще пиздец...
хотя я линуксоид, и в вендах ничо не понимаю, но хранить на системном диске базы, это выше моего понимания.
хотя наверное никто не парится при установке софта "далее"-"далее" жамкают, посто же хуле, юзер-френдли ёбанаврот

Кто платит за ИТ, тот и определяет, будет отдельный диск для баз или нет. Но конечно же строго рекомендуется иметь отдельные диски под базы.

я лично сам поднимал из говна и палок (нет бюджета...) - то что мне надо как анжинеру)) да и стоит это не денег, а опыта и немнога ума+гугла))).. и доказать диру что надо (маски шоу ни кто не отменял) докупить - фигня.. опыт открытых продаж и читайте книжки.. это проеб))) и залет))
 
[^]
AlexxWhite
28.05.2024 - 15:39
2
Статус: Offline


Шутник

Регистрация: 14.01.14
Сообщений: 4
Цитата (1vova1 @ 28.05.2024 - 15:25)
Кто платит за ИТ, тот и определяет, будет отдельный диск для баз или нет. Но конечно же строго рекомендуется иметь отдельные диски под базы.


ну кто платит - тот в случае чего сам то ебстись не будет, а будет ебать того кто руководствуясь этой логикой все хранит в одном месте gigi.gif

Это сообщение отредактировал AlexxWhite - 28.05.2024 - 15:40
 
[^]
Aberrant
28.05.2024 - 15:44
13
Статус: Offline


На фоксе! Всегда!

Регистрация: 3.10.20
Сообщений: 2881
Цитата (Blatero @ 28.05.2024 - 15:29)
да у них и шифровальщик ламерский какой-то..
системные и текстовые файлы зашифровал... а субд не заметил? молдавский вирус? gigi.gif

нуу, если всё по науке, а не как у этого школьника - ТС`а,
то сервер БД должен быть в DMZ, за собственным маршрутизатором,
за пределы DMZ должен торчать только 3306,
а внутри DMZ консоль админа и выход в DMZ бэкап-серверов
(никаких, блеать доменов, шар, ftp и ssh с ебучими rdp и уж тем более никаких форточек "сервер 2020 xp-про-корпорейшен-васян-эдишн 8 в 1")

тогда шифровальщик может добраться до БД только внедрив свой код непосредственно в логику самой базы,
но при таком раскладе из SQL пробраться в систему, чтобы потом добраться до бэкапов мало вероятно, даже скорее фантастика.

но кто ж так делает? все же на удалёнке, до всех серверов ssh прокинуты и шары, чтобы мышкой файлы шевелить

да и дорого это.
опять же - однокнопочным админом тут не обойтись,
нужен кто-то вменяемый с вменяемой зарплатой
 
[^]
vaisman
28.05.2024 - 15:48
2
Статус: Online


Ярила

Регистрация: 10.03.14
Сообщений: 26749
Aberrant, ну у меня, например, АД аутентификация только на пользовательской стороне, ДНС-ы хуенэсы и это вот все. Вся инфраструктурная часть в отдельном сетевом сегменте, без имен, без АД и этого всего. Мне как-то странно было узнать, что не все так делают. причем даже такие не все, как СДЭК. У меня пользователь даже с правами админа к шарам на сервере бэкапов не попадет.
 
[^]
Понравился пост? Еще больше интересного в Телеграм-канале ЯПлакалъ!
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии. Авторизуйтесь, пожалуйста, или зарегистрируйтесь, если не зарегистрированы.
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей) Просмотры темы: 29823
0 Пользователей:
Страницы: (9) [1] 2 3 ... Последняя » [ ОТВЕТИТЬ ] [ НОВАЯ ТЕМА ]


 
 



Активные темы






Наверх