Работа с гигантскими файлами в Windows 7, загадка

[ Версия для печати ]
Добавить в Telegram Добавить в Twitter Добавить в Вконтакте Добавить в Одноклассники
Страницы: (2) 1 [2]   К последнему непрочитанному [ ОТВЕТИТЬ ] [ НОВАЯ ТЕМА ]
JIR
18.04.2017 - 02:57
-2
Статус: Offline


Сибирский

Регистрация: 5.02.09
Сообщений: 6321
MPR, я одного не пойму никак - нахера ты в админку лезешь?
В протоколах, как свинья в апельсинах. О прикладном ПО знаешь только по наслышке.
 
[^]
Kromz
18.04.2017 - 03:23
-1
Статус: Offline


Юморист

Регистрация: 17.04.17
Сообщений: 419
памяти не хватает, может антивирь сканит файл?
 
[^]
MPR
18.04.2017 - 03:27
1
Статус: Offline


Ярила

Регистрация: 22.01.16
Сообщений: 6426
Цитата (ТриТанкиста @ 18.04.2017 - 02:37)
MPR а если сетевую шару сделать в ext4 и на линухе, и копировать тоже из линуха?

Не пробовал, терабайтный с гаком образ диска это какой то реальный гимор.
Я тут с ним так натанцевался по мере поступления проблем, что хватит на трех одминафф.
У меня все винты максимум терабайт. Собрал фалопомойку, слил туда освободив на компе два винта по терабйту.
Идея была вообще по сети не писать, ибо вычитка терабайтного образа даже с нового винта дело не быстрое, а уж по сети и подавно.
В общем получил два свободных терабайтника, собрал софовый рэйд под форточками, ессно при старте получил BSOD 7B.
Загрузился в WIN PE прикрутил дрова рэйда.
Собсно под виндами поднял виртуалку с линем, просунул туда RAW диск источник и начал вычитку. Поскольку шара была прокинута прямо в виртуалку, скорость по виртуальной сети хорошая была. Но сцуко не долго. Ксожалению для полноценной работы с бэдами, нужно было отключать на машине AHCI и ставить натив IDE, а это отключало рэйд. Псдц...
Покурил, выпил пивка, собрал из говна и палок мамку старую, накинул туда линуха, подключил диск и продолжил читать уже с внешки. Скорость не порадовала, на мамке была 100Мбит встроенная сеть. Порыл еще в кладовке, накопал гигабитную сетвуху, прикрутил, поехало побыстрее.
В начале кучку бэдов проскочил быстро, там они сплошняком шли без дыр в середине.
Аккурат после 700 Гигов уперся еще в пару дыр, между ними аккурат половина фоток. Пришлось почти вручную выяснять границы плохих участков и править конфиг, потмоу что на одной из зон были задеты сильно сервометки и винт при выходе на нее тупо в стук уходил.
В общем поправил, поехало читаться дальше, перевалил за тербайт и вот тут начались странности.
Я и так и эдак танцевал вокруг этого файла, пробовал писать с конца, файл вырос до 1.4Тб но через какой то время выпадал с ошибкой типа "диск фул или нет прав на запись". Пробовал подкинуть диск в винду и читать в тот же файл R-studio (она может дочитывать и дописывать) там вообще, прочитало 50 гиг и пошли зависы. Пишет 2 мб и вешается. В общем комп не выключался пару дней, жалко было бросать на 70% вычитаный файл.
Плюнул, отрезал от него изгаженный попытками хвост, оставил 800 гиг, продолжил читать в отдельный файл, думаю потом склею в один бинарник.
Вычитал все по первому проходу, думаю ща склею и дальше дело техники.
Куй там, склеить два файла под виндами нельзя!!!! Их можно скопировать в третий паравозом склеивая последовательно. Но для 1.4 Тб файла для этой операции нужно еще 1.4 Тб места.
Думал поднять линь на компе с рэйдом, но беда в том, что файл там уже лежит, а линух виндовый рейд на дух не переносит, у него свой mdadm и на то что там контроллер два винта в зеркало скрутил, он плюет с колокольни и видит все равно винты раздельно.
Вот тут меня все начало бесить. Причем ни один хекс редактор не может взять открытый файл и пристегнуть к нему простым копированием кусок. Просто взять долбаный файл и начать в него дописывать!
В общем, нарыл уже потом в команде copy есть такая возможность, при определенных ключах можно первый файл не трогать, а все следующие скопировать к нему в хвост. Запустил, часов шесть эта тварь шуршала винтом без какого либо индикатора процесса даже, потом выпала с ошибкой подавившись размером.
В итоге плюнул сделал все по новой, пересобрал рэйд, форматнул раздел, и по сети скопировал руками указав какие там были дыры между бэдами что бы побыстрее шло.
На 1.27Тб выпал опять в ошибку записи, проверьте место и права.
Плюнул, посмотрел образ, там все нужное было, а несколько фильмов можно и перекачать при надобности.
От такая эпопея.....
Пока сношался с этим постоянно отсутствующим местом на дисках для элементарной операции типа копирования и склейки че то вспоминалось мне детство босоногое, 286 комп и дискеты.

Вот такая история, получилось длинновато.
Если вдруг, когда нибудь вы подумаете, что это простая задача и все должно работать, просто файл будет дольше читаться-писаться и занимать больше места, положите поближе свой бубен. Он пригодится 100500
 
[^]
MPR
18.04.2017 - 03:28
1
Статус: Offline


Ярила

Регистрация: 22.01.16
Сообщений: 6426
Цитата (Kromz @ 18.04.2017 - 03:23)
памяти не хватает, может антивирь сканит файл?

памяти 8 ГБ, антивиря нет (предвещая вопросы - вирусов тоже)
 
[^]
MPR
18.04.2017 - 03:29
1
Статус: Offline


Ярила

Регистрация: 22.01.16
Сообщений: 6426
Цитата (JIR @ 18.04.2017 - 02:57)
MPR, я одного не пойму никак - нахера ты в админку лезешь?
В протоколах, как свинья в апельсинах. О прикладном ПО знаешь только по наслышке.

ото ты то у нас мастер усцацца
 
[^]
MPR
18.04.2017 - 03:31
0
Статус: Offline


Ярила

Регистрация: 22.01.16
Сообщений: 6426
Цитата (MadNigra @ 18.04.2017 - 02:47)
Там еще и реверсивное чтение есть ;)
В общем удачи тебе, а я спать пойду, бо 6-й час утра уже.

не ну можно и зайца научить курить, но все таки dd для живых винтов а не для трупов.
 
[^]
MPR
18.04.2017 - 03:40
1
Статус: Offline


Ярила

Регистрация: 22.01.16
Сообщений: 6426
Цитата (Comma9Dante @ 18.04.2017 - 02:54)

Да, заранее отключи в форточках всякую индексацию райдового диска, всякую мусоросборку с него и прочие службы форточек, занимающие разом до 20% пространства носителя.


Там 2 фала всего на весь раздел, чего там индексировать и собирать, раздел пустой.
Пишется в него что угодно и куда угодно, только когда начинаешь писать в один большой файл начинаются странности.
 
[^]
Gnusman
18.04.2017 - 03:42
0
Статус: Offline


Шутник

Регистрация: 6.03.15
Сообщений: 41
Если уже занимаешься восстановлением данных, то купи себе нормальное оборудование. Та же пресловутая пс3000 нарезает образ на куски по 2 гига думаешь просто так чтоли?
 
[^]
MPR
18.04.2017 - 03:47
2
Статус: Offline


Ярила

Регистрация: 22.01.16
Сообщений: 6426
Цитата (Gnusman @ 18.04.2017 - 03:42)
Если уже занимаешься восстановлением данных, то купи себе нормальное оборудование. Та же пресловутая пс3000 нарезает образ на куски по 2 гига думаешь просто так чтоли?

Если собрался ехать на дачу купи себе порш каен, 400 лошадей и точность управления закачаешься....
Я не уже занимаюсь, я время от времени занимаюсь дабы не оплачивать услуги тех кто купил "писю" там тож не все просто с ней. Ну нарежу я образ по два гига, чем ты потом его вычитывать будешь?
Была мысль конечно попробовать его потом в линь смонтировать паравозом, но я до этого не дошел.
 
[^]
JIR
19.04.2017 - 03:46
-1
Статус: Offline


Сибирский

Регистрация: 5.02.09
Сообщений: 6321
Цитата (MPR @ 18.04.2017 - 03:29)
Цитата (JIR @ 18.04.2017 - 02:57)
MPR, я одного не пойму никак - нахера ты в админку лезешь?
В протоколах, как свинья в апельсинах. О прикладном ПО знаешь только по наслышке.

ото ты то у нас мастер усцацца

Можешь даже усраться сразу.
На конечный вариант это не повлияет.
Давай я повторюсь:
 
[^]
MPR
25.07.2017 - 13:00
1
Статус: Offline


Ярила

Регистрация: 22.01.16
Сообщений: 6426
Сам спросил, сам же отвечаю.
В случае если включено сжатие файлов на NTFS разделе при попытке работать с гигантскими файлами (более 200 Гб) возникают проблемы с сохранением.
Видимо такова особенность применяемых алгоритмов сжатия.
Смоделировал ситуацию, две разных программы при попытке записать терабайтный образ на NTFS со сжатием зависли на одном и том же размере 177 000 500.
Такие дела.....
 
[^]
Понравился пост? Еще больше интересного в Телеграм-канале ЯПлакалъ!
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии. Авторизуйтесь, пожалуйста, или зарегистрируйтесь, если не зарегистрированы.
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей) Просмотры темы: 3948
0 Пользователей:
Страницы: (2) 1 [2]  [ ОТВЕТИТЬ ] [ НОВАЯ ТЕМА ]


 
 



Активные темы






Наверх