thread2 ([info]thread2) wrote,
@ 2005-06-13 19:31:00
Previous Entry  Add to memories!  Tell a Friend!  Next Entry
Entry tags:ljsearch

Робот-поисковичок: вести с полей.

Робот-поисковичок: история версий


    Жуткий цейтнот; в частности, "вечер" (см. ниже) настал месяца через три...

    Основные новости такие:
    -- робот, к моему удивлению, еще нужен -- яндекс, оказывается, находит пока далеко не все;
    -- так как файловладельцев "попросили" с лжеплюса, архив версий робота переехал на народ.ру;
    -- робот тестируется под XP Ж:-)

    Ниже -- история последних версий, затем -- текст исходного сообщения этой странички (с историей первых версий). Ура. Всем привет, а я побежал суетиться дальше

1.0.1.8 -- В связи с переменами в системе ссылок ЖЖ робот было перестал ловить мышей
           (фильтр ссылок в большинстве случаев стал считать "неинтересными" все);
           эта ситуация исправлена. Кроме того, на страничке отчета к дате найденной
           записи теперь добавляется ее заголовок.
1.0.1.7 -- Добавлена возможность поиска по разным левонетам лжежеже:
           greatestjournal и т.д. -- см. меню "LJ";
           предложения о других журналах принимаются, ... но обещать ничего не могу
1.0.1.6 -- ' в IE 6.0.чего-то-там под WinXP
           ' поведение меняется таким образом,
           ' что после перехода на другую страницу
           ' попытка получить свойство объекта предыдущей
           ' приводит к ошибке "permission denied" (код 70)
           ' (в win2000 и каком-то IE6 -- не приводило).
           ' отсюда мораль -- забираем список ссылок _до_ перехода :-)
1.0.1.5 -- Добавили вызов DoEvents ("обработка сообщений") 
           внутрь функции отчета, "управляемость" возросла Ж:-)
1.0.1.4 -- Вывод в отчете суммарного времени поиска.
1.0.1.3 -- Вывод даты сообщения в файле отчета.
1.0.1.2 -- в "свернутом" состоянии выводим "код статуса" поиска 
           в заголовок окна: можно подвести мышь и узнать, как дела.
           удобно. (в развернутом состоянии ставим стандартный заголовок
           обратно.)
1.0.1.1 -- добавляем возможность поиска по исходному html-коду.
1.0.1.0 -- мельчайшая "косметическая" борьба с избыточностью и релиз.
           "микрорелизъ"
1.0.0.9 -- фильтр ссылок наконец-то проверяет --
           -- есть ли в ссылке имя собственно ник пользователя
1.0.0.8 -- за счет выделения аналогичных кусков в функциональные вызовы
           код стал менее избыточным, кроме того -- добавлен вывод
           текущей статистики сканирования в tooltip окошка вывода
1.0.0.5 -- теперь выдаем отчет и при остановке поиска пользователем
1.0.0.4 -- в Scan и RegScan объединяем общие отладочные выводы,
           вывод в файл и, может быть, открытие этого файла
1.0.0.3 -- пытаемся избавиться от части избыточного кода:
           запрятали переход по ссылке в отдельный вызов
           (хорошо бы посмотреть, чем кончится: раньше что-то там не работало
            с этим)





    Ниже "для истории" приводится исходное сообщение этой странички.




    Выяснил одну из возможных причин сообщений об ошибках. Оказывается, если регэксп некорректный, все радостно падает. (Дожили, однако: ведь еще помню то время, когда мог написать кривой регэксп совершенно не задумываясь. А теперь нужно не меньше месяца, чтобы это выяснить. Мастерство не пропьешь, блин)
    Сие исправлено -- в том смысле, что вместо врезания дуба мы теперь выдаем сообщение об ошибке.
    Ссылка на новую версию: ljsearch.1.0.0.2.zip, 26 кБ.


    PS. Похоже, вот здесь, на этом самом месте я буду вести историю версий. Ближе к вечеру, наверно, поправлю все.
    PPS. История (позже -- перенести наверх):
    1.0.1.1 -- Добавлена возможность поиска по исходному HTML-коду страницы.
    1.0.0.8 -- Можно посмотреть на текущую статистику сканирования, подведя мышь к окошку вывода и дождавшись всплытия tooltip'а;
    1.0.0.5 -- Выдаем отчет и при "аварийной остановке".
    1.0.0.2 -- если регэксп кривой, мы больше не падаем;
    1.0.0.1 -- добавлено сохранение искомых страниц;
    1.0.0.0 -- сравнительно приличная версия 0.0.0.D торжественно переименована в Релиз(ъ).
    0.0.0.* -- написан скрипт, с подачи Никта ему написана морда, затем с моей подачи ему добавлены регэкспы, другая доработка (типа поиска в кэше); попутно исправлена толика разных ошибок -- как моих, так и бейсика (в смысле, последние залатаны).




Дружище, мы все под колпаком у Мюллера!


(Post a new comment)


[info]kvasimodo
2005-06-13 03:47 pm UTC (link)
Да, а ещё он с каждым разом становится всё симпатичнее :)

(Reply to this)(Thread)


[info]thread2
2005-06-14 10:50 pm UTC (link)
Не корысти ради... Однако спасибо, блин.
А то у меня тут че-то сплошные хмурые тучи на горизонте.

PS. Это не значит, что не надо слать багрепортов, если что Ж:-)

(Reply to this)(Parent)


[info]s0me0ne
2005-06-13 05:56 pm UTC (link)
А source code будет выпущен? В целях портирования 8)

(Reply to this)(Thread)


[info]thread2
2005-06-14 10:42 pm UTC (link)
Ага, и послать результат Билли, чтобы ему было приятно. Робот-то на VB, так что это наверняка будет первый случай. Ж:-)

Если серьезно -- то если там все сшито "на живую нитку" и висит клочьями: дублирование кода, какие-то закомментаренные временно или навсегда фрагменты и т.д.
Просто как-то неудобно людям показывать.
Я же (а) торопился и (б) параллельно знакомился с красотами бейсика. Ж:-)

Но когда-нибудь в будущей жизни я, конечно, устрою "рефакторинг кода"... то есть причешу это все; затем назову финальной версией и отдам Человечеству, чтобы уже оно само его выкинуло.

А пока пусть лучше наше человечество просит о доработках меня: а то расползется еще на ровном месте десять разных версий, одна другой особеннее... а потом все это зазеленеет, как то дите у семи нянек. Ну его нафиг. Плавали, знаем. Ж:-)

(Reply to this)(Parent)(Thread)


[info]s0me0ne
2005-06-14 10:48 pm UTC (link)
Ну, я за язык не тянул 8) Прошу доработки в виде линукс-версии робота 8)

(Reply to this)(Parent)(Thread)


[info]thread2
2005-06-14 11:26 pm UTC (link)
Гы. Как там эмулятор виндов под Линуксы звали? Wine?
Ж:-)

PS. Если я когда-нибудь выучу Perl и не свихнусь от этого прекрасного языка, можно будет хохмы ради поступить несколько наоборот. Ж:-)

(Reply to this)(Parent)(Thread)


[info]s0me0ne
2005-06-14 11:33 pm UTC (link)
"No one person can understand Perl culture completely" (C) Larry Wall

Так что не надо пытаться его учить - неблагодарное это дело. Надо просто на нём писать.

А эмуляторы - это не наш путь. Портировать, портировать и ещё раз портировать! 8)

(Reply to this)(Parent)(Thread)


[info]thread2
2005-06-15 04:32 pm UTC (link)
В данный момент мое частное мнение на этот счет таково: то, что автора Perl не пристрелили в детстве -- огромная ошибка со стратегическими последствиями.

Не исключено, что под давлением обстоятельств я его поменяю. Но пока еще меня колбасит недостаточно сильно. Ж=)

Одна только вероятностная компиляция регэкспов чего стоит. Я обалдел просто, как прочел.

В общем, если еще один филолог затеет создавать язык, надо будет запретить ему это законодательно.

(Reply to this)(Parent)


[info]nikto_journal
2005-06-15 01:07 pm UTC (link)
Поздравляю с очередным обновлением!!

Кстати, мое имя не склоняется, так как я - женского пола)))

(Reply to this)(Thread)


[info]thread2
2005-06-15 04:15 pm UTC (link)
Поздравления с благодарностью приняты.

PS. Отлично склоняется!
Ты, наверно, просто не пробовала. Ж:-)

(Reply to this)(Parent)


Create an Account
Forgot your login?
Login w/ OpenID
English • Español • Deutsch • Русский…