|
Как с помощью AkelPad извлечь IP адреса из txt файла ?
|
|
| Slava23 | Дата: Воскресенье, 28.05.2017, 17:58 | Сообщение № 1 |
Рядовой
На сайте с: 28.05.2017
Город: Москва
Сообщений: 7
|
Здравствуйте!
Прошу подсказать есть ли возможность с помощью AkelPad и какого либо скрипта извлечь IP адреса (просто списком) из txt файла (Если быть точным лог файл сервера) ?
В txt файле IP указаны в каждой строке но, помимо IP в каждой строке еще много другого текста, который нужно отсеять оставив лишь одни IP-шники..
Если это возможно, объясните пожалуйста по подробнее как это сделать!
Спасибо за ответ!
|
| |
| |
| Andrey_A | Дата: Воскресенье, 28.05.2017, 22:03 | Сообщение № 2 |
Генералиссимус
На сайте с: 26.01.2012
Город: Сочи, Хоста
Сообщений: 7191
Награды: 143
Репутация: 125
Аверин Андрей
|
Slava23, в любых запросах по извлечению/преобразованию текста необходимо приложить текст ДО (часть исходного) и ПОСЛЕ (то что надо на выходе) для теста...
.
|
| |
| |
| Slava23 | Дата: Воскресенье, 28.05.2017, 22:37 | Сообщение № 3 |
Рядовой
На сайте с: 28.05.2017
Город: Москва
Сообщений: 7
|
Цитата Andrey_A (  ) в любых запросах по извлечению/преобразованию текста необходимо приложить текст ДО (часть исходного) и ПОСЛЕ (то что надо на выходе) для теста...
Вот текст в исходном файле (вместо xxx реальный IP):
======
xxx.xxx.xx.xxx - - [28/May/2017:05:31:10 +0300] "GET /robots.txt HTTP/1.0" 403 2912 "-" "Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com )"
xxx.xx.xx.xxx - - [28/May/2017:06:17:36 +0300] "GET /robots.txt HTTP/1.0" 301 326 "-" "Mozilla/5.0 (Windows NT 5.1; rv:6.0.2) Gecko/20100101 Firefox/6.0.2"
+ еще ~15000-20000 подобных строк
======
На выходе хотелось бы получить просто файл со списком IP вида:
====
xxx.xxx.xx.xxx
xxx.xxx.xx.xxx
====
А в идеале не просто список IP-шников, а все одинаковые IP сосчитаны, кол-во повторений указано в виде числа перед IP, (повторяющиеся IP удалены), а сам список отсортирован от большего числа (повторений) к меньшему..  Если конечно такое возможно с помощью одного скрипта сделать..
Примерно вот в таком виде (где первое число, это-то сколько раз указанный IP встречался в тексте, второе число (в примере xxx) собственно сам IP):
====
2387 - xxx.xxx.xx.xxx
1242 - xxx.xxx.xx.xxx
1211 - xxx.xxx.xx.xxx
999 - xxx.xxx.xx.xxx
587 - xxx.xxx.xx.xxx
374 - xxx.xxx.xx.xxx
234 - xxx.xxx.xx.xxx
18 - xxx.xxx.xx.xxx
...
====
Приходится иметь дело с большим кол-вом лог файлов, если бы появилась возможность делать то , что описано выше, жить бы стало проще, жить бы стало веселей 
В качестве исходного текста можно использовать вот этот, в нем есть повторяющиеся IP и те которые не повторяются
======
95.108.181.33 - - [28/May/2017:06:35:39 +0300] "GET / HTTP/1.0" 200 111605 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
66.249.66.23 - - [28/May/2017:06:43:24 +0300] "GET HTTP/1.1" 200 149046 "-" "Googlebot-Image/1.0"
180.76.15.154 - - [28/May/2017:06:17:36 +0300] "GET /robots.txt HTTP/1.0" 301 326 "-" "Mozilla/5.0 (Windows NT 5.1; rv:6.0.2) Gecko/20100101 Firefox/6.0.2"
95.108.181.33 - - [28/May/2017:06:35:39 +0300] "GET / HTTP/1.0" 200 111605 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
141.8.132.35 - - [28/May/2017:06:35:43 +0300] "GET / HTTP/1.0" 301 316 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
95.108.181.33 - - [28/May/2017:06:36:09 +0300] "GET / HTTP/1.0" 200 111882 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
66.249.66.23 - - [28/May/2017:06:43:24 +0300] "GET HTTP/1.1" 200 149046 "-" "Googlebot-Image/1.0"
37.9.118.28 - - [28/May/2017:19:39:22 +0300] "GET / HTTP/1.0" 200 111596 "-" "Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots mtmon01i.yandex.ru)"
180.76.15.140 - - [28/May/2017:19:39:23 +0300] "GET / HTTP/1.0" 301 316 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
95.108.181.33 - - [28/May/2017:06:35:39 +0300] "GET / HTTP/1.0" 200 111605 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
180.76.15.30 - - [28/May/2017:19:39:25 +0300] "GET /robots.txt HTTP/1.0" 200 1306 "-" "Mozilla/5.0 (Windows NT 5.1; rv:6.0.2) Gecko/20100101 Firefox/6.0.2"
66.249.64.220 - - [28/May/2017:10:16:41 +0300] "GET HTTP/1.1" 200 149046 "-" "Googlebot-Image/1.0"
141.8.183.21 - - [28/May/2017:11:18:14 +0300] "GET /index.php/news/item/70-n1 HTTP/1.0" 200 195158 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
62.210.247.93 - - [28/May/2017:21:58:10 +0300] "GET /robots.txt HTTP/1.0" 200 1317 "-" "Riddler (http://riddler.io/about)"
66.249.66.23 - - [28/May/2017:06:43:24 +0300] "GET HTTP/1.1" 200 149046 "-" "Googlebot-Image/1.0"
95.108.181.33 - - [28/May/2017:06:35:39 +0300] "GET / HTTP/1.0" 200 111605 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
======
На сервере через ssh консоль это делаю через команду: zcat namelogfile.gz | /usr/bin/awk {'print $1'} | sort -n | uniq -c | sort -rn | head -20
Получается, то что требуется:
2387 - xxx.xxx.xx.xxx
1242 - xxx.xxx.xx.xxx
1211 - xxx.xxx.xx.xxx
999 - xxx.xxx.xx.xxx
587 - xxx.xxx.xx.xxx
....
Но есть необходимость делать это на локальном ПК, может быть есть какой-нибудь вариант??
Сообщение отредактировал Slava23 - Воскресенье, 28.05.2017, 23:00 |
| |
| |
| Andrey_A | Дата: Понедельник, 29.05.2017, 02:29 | Сообщение № 4 |
Генералиссимус
На сайте с: 26.01.2012
Город: Сочи, Хоста
Сообщений: 7191
Награды: 143
Репутация: 125
Аверин Андрей
|
Извлекает IP адреса из выделенного текста
Используется скрипт Functions.vbs - Скрипт с различными Функциями, которые можно использовать в других скриптах
Доступно только для пользователей
|
| |
| |
| Slava23 | Дата: Понедельник, 29.05.2017, 14:32 | Сообщение № 5 |
Рядовой
На сайте с: 28.05.2017
Город: Москва
Сообщений: 7
|
Здравствуйте!
Огромное спасибо! Все работает, как нужно! Почти..
Есть пара нюансов результаты обработки скриптом и сервером немного отличаются..
Я на почту отправил исходный файл и 2 файла с результатами обработки (скриптом и сервером)
Если в двух словах, то скрипт не нашел IP с самым большим числом повторений, но при этом строк с результатами больше т.е. видимо скрипт нашел и записал в результаты IP которыми таковыми не являются.. (Ну или же сервер не находит все IP) Уверен что это можно поправить.. )
Вопрос по использованию скрипта:
До вчерашнего дня я вообще не был знаком с AkelPad Image 32, после того как вы написали решение сделал следующее:
1) скачал саму программу
2) согласно инструкции скачал и перезаписал Functions.vbs, по пути ...AkelFiles\Plugs\Scripts\Include\
3) создал файл getIP.vbs и положил его вот сюда ..\AkelFiles\Plugs\Scripts\getIP.vbs
4) запускаю скрипт из меню плагины --> скрипты --> выбираю из списка --> нажимаю кнопку "запустить" (ну еще для себя создал сочетания клавиш на этот скрипт)
Суть вопроса: в описании вы писали примеры коротких команд напр. Call("Scripts::Main", 1, "getIP.vbs", `2 1 1`)
Куда нужно вставлять эту команду?? Как запустить скрипт с определенными параметрами??
А то сейчас я правлю значения в самом скрипте, пересохраняю его и после этого запускаю. Как пример:
.Include("Functions.vbs") : tTxt = .GetSelText : nDubl = 2 : nNewTab = 1 : nAll = 0 : nSort = 2 : nMode = 0
Но я так думаю, что это не совсем правильно, а как запустить скрипт с атрибутами в программе "AkelPad Image 32" недопонимаю ))
Объясните новичку по подробнее, или дайте ссылку об этом можно почитать!
Еще раз большое спасибо!
ps Поражает скорость с которой было предложено готовое и рабочее решение
Сообщение отредактировал Slava23 - Понедельник, 29.05.2017, 14:45 |
| |
| |
| Andrey_A | Дата: Понедельник, 29.05.2017, 14:52 | Сообщение № 6 |
Генералиссимус
На сайте с: 26.01.2012
Город: Сочи, Хоста
Сообщений: 7191
Награды: 143
Репутация: 125
Аверин Андрей
|
Slava23, для работы со скриптами необходимо прочитать в шапке темы "Коллекция скриптов"
http://tc-image.3dn.ru/forum/9-169-1
там подробно все описано...
Если после этого будут вопросы, можно будет разобрать ещё раз
----------
Что касается точности извлечения IP , то там в скрипте стоит регулярное выражение - его можно подправить.. т.к. не было текста до и после, то и тестировать было почти не на чем...
----------
Присланные файлы посмотрю позже
.
|
| |
| |
| Slava23 | Дата: Понедельник, 29.05.2017, 15:28 | Сообщение № 7 |
Рядовой
На сайте с: 28.05.2017
Город: Москва
Сообщений: 7
|
Andrey_A, Спасибо, создать кнопки с короткими командами - получилось! Сейчас каждый раз править сам скрипт нет необходимости ))
Кнопки создал с иконками. Вопрос, а где посмотреть сами иконки и какая цифра ей соответствует , чтобы выбрать понравившуюся иконку и вписать ее код в кнопку?!?
|
| |
| |
| Andrey_A | Дата: Понедельник, 29.05.2017, 16:25 | Сообщение № 8 |
Генералиссимус
На сайте с: 26.01.2012
Город: Сочи, Хоста
Сообщений: 7191
Награды: 143
Репутация: 125
Аверин Андрей
|
Slava23, в кнопках можно ставить свою иконку из любой dll, exe ...:
Код Icon("путь к своей иконке\AAA.ico",0)
Или из тех библиотек которые есть в сборке AkelPad Image
Меню - Справка - Просмотр значков - Просмотр значков AkelPadImage.dll
-----------
Я посмотрел ваши файлы, но ответа пока нет почему больше или меньше адресов, т.к. нужно искать/изобретать свою регулярку.
Та что в скрипте - взята на одном из профессиональных сайтов
Самая простое регулярное выражение для IP это:
Код (\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})
Можете заменить вместо
Код (?:(?:2(?:[0-4][\d|5[0-5])|[0-1]?\d{1,2})\.){3}(?:(?:2(?:[0-4]\d|5[0-5])|[0-1]?\d{1,2}))
или найти свою...
.
|
| |
| |
| Slava23 | Дата: Понедельник, 29.05.2017, 17:15 | Сообщение № 9 |
Рядовой
На сайте с: 28.05.2017
Город: Москва
Сообщений: 7
|
Andrey_A, Спасибо за подсказку где посмотреть значки..
Использовать другие регулярные выражения попробую обязательно!
Добавлено (29.05.2017, 17:15)
---------------------------------------------
Andrey_A,
С регулярные выражением вида: (\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}) скрипт стал находить IP с самым большим кол-вом повторений, что уже радует..
А возможно ограничить поиск IP только по первому полю, (до первого пробела)? Дело в том что скрипт находит IP по всему тексту (что в моем случае, как бы и не требуется)
и как пример что с первичным регулярным выражением, что с (\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}) -(2 вариант) он находит текст похожий на IP (в моем случае версии браузеров) и обрезает его под стандарт IP..
В лог файле 17.3.1.383.01
В результатах скрипта: 17.3.1.383
Этого можно избежать если ограничить область поиска, на картинке - что нужно и не нужно:
Одним словом если искать только по первому полю, то скрипт работает безупречно, с кучей всяких вариантов формирования отчета (результатов)
Если что, стандартная строка лог файла выглядит вот так:
128.71.107.107 - - [28/May/2017:13:09:28 +0300] "GET / HTTP/1.0" 200 193142 " "Mozilla/5.0 (Linux; Android 4.2.2; ME302KL Build/JDQ39) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 YaBrowser/17.3.1.383.01 Safari/537.36"
Может быть как ограничение области поиска использовать не пробел, а два дефиса сразу после IP ? Вам виднее, я не силен в программировании.. 
Сообщение отредактировал Slava23 - Понедельник, 29.05.2017, 17:40 |
| |
| |
| Andrey_A | Дата: Понедельник, 29.05.2017, 23:46 | Сообщение № 10 |
Генералиссимус
На сайте с: 26.01.2012
Город: Сочи, Хоста
Сообщений: 7191
Награды: 143
Репутация: 125
Аверин Андрей
|
Slava23, пропишите в скрипте перед регулярным выражением функцию поиска и замены
Код tTxt = RegExpReplace(tTxt, "([^ ]+)([^\r\n]+)", "$1", 1, 0, 1)
aIP = RegExpSearchPlus(tTxt, "(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})", 1, 1, 1, 2)
.
|
| |
| |
| Slava23 | Дата: Вторник, 30.05.2017, 03:51 | Сообщение № 11 |
Рядовой
На сайте с: 28.05.2017
Город: Москва
Сообщений: 7
|
Andrey_A, Отлично! Большое спасибо! То что нужно!
Результаты по количеству строк совпадают полностью, а также совпадают по счетчику (количеству повторений IP)!
Сказать что результаты совпадают символ в символ не могу, так как чуть-чуть отличается сортировка IP (после счетчика) в результатах скрипта и сервера, но это абсолютно не имеет значения..
Главное ваш скрипт полностью решает поставленную задачу (извлекает, считает и сортирует IP в файле)!!!
Еще раз огромное спасибо! 
|
| |
| |
|
