| Alexander Fedorov ( @ 2004-02-12 17:47:00 |
| Current mood: | |
| Current music: | Windows Media Player |
downloader
http://s93143383.onlinehome.us/alj.zip http://win32utils.com/ru/alj/
Обновил кое-что в программе для скачивания журнала - теперь она дополнительно качает только те комментарии, которые не удалось прочитать, например потому что они были свёрнуты. Что ускорило работу в несколько раз. Также сделал нормальный формат для хранения скачанного - теперь вся лента включающая посты и комментарии разбивается на куски по 1 мегабайту, чтобы IE не сильно затыкался при попытке её открыть. И сами эти куски могут быть закачаны опять в программу для обновления журнала, который был ранее скачан. Кнопка Index теперь показывает, сколько процентов от журнала такого-то пользователя уже скачано, а кнопка Get - пытается докачать отсутствуюшее. Кнопка Restore (бывшая Text) теперь воссоздаёт архив пользователя из 2-х источников - старого архива, который может быть не полным, например если программа зависла при скачивании и собственно скачанных страниц. После того как архив построен, скачанные данные можно удалить - они больше не нужны при последующих обновлениях архива.
Проверил на особо большом журнале,
apazhe. Скачалось почти всё, около 57000 записей из 58000 возможных, но некоторые операции пока что довольно тормозно работают. Нескачанное - либо глюк, либо приватные записи, которые мне не видны.
Теперь надо ещё сделать, чтобы при обновлении какое-то количество уже скачанных постов скачивались по новой, чтобы новые комментарии к ним также скачались. Пока что в этом направлении идей есть 2: обновлять N последних записей и обновлять N записей с максимальным числом комментариев - потому что там где идёт флейм, он может продолжать идти и когда запись уже относительно старая.
Пора поиск начинать приделывать. :)
Updates
2004-03-01 http://www.livejournal.com/users/al
2004-03-11 http://www.livejournal.com/users/al
2004-03-15 http://www.livejournal.com/users/al
2004-04-01 http://www.livejournal.com/users/al
alj