ой ли - нету? мы к этому идем. Кажись в этом году все операторы должны поставить оборудование URL Filtering, дабы как раз выключать нужное, ненужное или всё) это наряду с системами DTM и входящие в них DPI, кторые операторы по собственной воле ставят дабы знать кто чего и как и по своему разумению что нибудь ограничивать (например skype на мобильных телефонах)или подругому тарифицировать.
> у нас в стране доступ в интернет идет через контролируемые зарубежными компаниями каналы.
Не то, чтобы я ввязывался в спор, но в пятёрку крупнейших составляют (порядок не обязательно соответствует величине протяженности магистральных линий): Ростелеком (Связьинвест, ВЭБ, Росимущество), Транстелеком (дочка РЖД), Мегафон (Алишер Усманов), МТС (говорим МТС, подразумеваем АФК "Система", держим в уме В.П. Евтушенкова), Вымпелком (тут управляющая компания официально ваще на Бермудских островах, так что спорить не буду).
Доля иностранного капитала понятное дело есть везде, но так ли всё плохо?
> Очевидно что никакой самой мощный компьютер не сможет переварить весь поток (а туда тупо отправляется всё) и не хватит людей эту кучу данных смотреть.
Джентельмены, подумайте немного. В устройство направляется поток, устройство из всего потока достаёт нужные данные... Как можно достать из потока нужные данные, не будучи в силах [его переварить]? [не хватит людей кучу данных смотреть] - матрицы насмотрелись? По выбранным и проанализированным данным составляются всяческие удобочитаемые отчёты. Необходимые списки, сортируются и лимитируются по куче условий. Вы что, акромя select * ничего больше никогда не видели?
В советские времена по рукописному анонимному тексту за 2-3 дня устанавливали личность... Вы правда органы за дурачков держите? Желаю вам никогда не столкнуться - а то шаблон порвёт на мелкие кусочки.
> В №цатый раз повторюсь - именно технически нет никаких централизованных возможностей это сделать. Именно поэтому это и бредовая идея.
"Толстых" наземных линий международной световой или электрической связи конечное число. По некоторым оценкам до 100 штук. Возможность отключить сто "точек" в короткий промежуток времени, лично у меня, не вызывает удивления.
> Джентельмены, подумайте немного. В устройство направляется поток, устройство из всего потока достаёт нужные данные... Как можно достать из потока нужные данные, не будучи в силах [его переварить]? [не хватит людей кучу данных смотреть] - матрицы насмотрелись?
Возвращаю совет подумать.
Аппаратура СОРМ — это такой мощный комьютер со специальным, на который зеркалируется весь трафик провайдера.
Трафик на СОРМ передается самый разный — DNS, HTTP, POP3, SMTP, торренты, мессенджеры и т.п., десятки и сотни видов протоколов (в том числе и зашифрованные). Чтобы извлечь полезную информацию из сырого потока, нужно распознать тип трафика (протокол) и раскодировать его. А если трафик зашифрованный (например HTTPS), то еще и расшифровать. Все это достаточно сложные задачи и аппаратура, которая сможет в реальном времени обрабатывать (раскодировать) весь трафик с полосой, к примеру, 10 Гбит/с, будет стоить очень много.
Поэтому СОРМ обрабатывает не весь проходящий трафик, а только его часть — только некоторые протоколы или только некоторых абонентов.
Если потребуется, можно сохранять весь необработанный трафик с тем, чтобы весь его декодировать позднее (не в реальном времени).
Разумеется СОРМ также формирует различные отчеты и статистику, что позволяет отслеживать различные тренды и аномалии, но статистика не дает возможности отслеживать каждого абонента индивидуально.
> Интересно, а как же работает греп по маске да ещё задним числом? -)
> Интересно, а как же работает греп по маске да ещё задним числом? -)
Если речь идет о том, что можно в течении трех лет узнать, какой IP-адрес где был, то это совсем другая задача, гораздо более простая, нежели мониторинг и анализ трафика.
Достаточно сохранять IP-адрес и заголовки HTTP-запроса; эта информация имеет небольшой размер, относительно легко декодируется и ее без проблем можно сохранять. Но содержимое (заголовок страницы, текст страницы, публикуемое сообщение, содержимое прикрепленных файлов) задним числом не узнать.
> Трафик на СОРМ передается самый разный — DNS, HTTP, POP3, SMTP, торренты, мессенджеры и т.п., десятки и сотни видов протоколов (в том числе и зашифрованные).
Эксперта видать издалека -).
Трафик передаётся весь, а не самый разный. Ключевое слово [весь]. Он же (весь) и анализируется.
> Все это достаточно сложные задачи и аппаратура, которая сможет в реальном времени обрабатывать (раскодировать) весь трафик с полосой, к примеру, 10 Гбит/с, будет стоить очень много.
> Поэтому СОРМ обрабатывает не весь проходящий трафик, а только [его часть] — только некоторые протоколы или только некоторых абонентов.
Да, я с советом явно не по адресу -). Какую часть? Каждый 10тый пакет? Или "5 минут обрабатываю, 5 минут курю"? Или разбор и фильтрацию flow на уровнях с третьего по 7 включительно в поисках нужных данных вы за обработку не считаете? Типа "система обрабатывала не весь поток а только то, что в отчёт попало"?
> Разумеется СОРМ также формирует различные отчеты и статистику, что позволяет отслеживать различные тренды и аномалии, но статистика не дает возможности отслеживать каждого абонента индивидуально.
Речь о том, что у вас каша в голове. И вы ей пытаетесь рассуждать о том, в чём не разбираетесь.
Я так понимаю что вежливые намёки в интернете имеют 0-вую результативность в 100% случаев.
Какую на пульте настроят.
Например подробно (не только заголовки, но и содержимое) анализируется весь HTTP-трафик, адресованный на определенный сайт. Или весь распознаваемый трафик, исходящий от определенного абонента.
> Или разбор и фильтрацию flow на уровнях с третьего по 7 включительно в поисках нужных данных вы за обработку не считаете?
Не с третьего, а со второго, если уж говорить об экспертах.
Формально это конечно обработка. Однако для СОРМ этого недостаточно, там нужно не только получить содержимое, но и проанализировать его (найти ключевые слова).
Поэтому декодирование (подготовка к обработке) применяется ко всему трафику, а вот его обработка (анализ) применяется выборочно.
> Змей Горыныч, третья голова прокомментирует первые две?
Трафик на СОРМ поступает весь.
Анализируется не весь.
Декодируется тоже не весь, т.к. не все протоколы распознаются и поддерживаются, в тех.проекте к СОРМовичу заявлено около двух или трех десятков. XML-RPC или IGMP к примеру там нет.
> в канальном тараканов ищут?
Вопросы к разработчикам СОРМ.
Они пожелали подключаться на L2.
> > ой ли - нету? мы к этому идем. Кажись в этом году все операторы должны поставить оборудование URL Filtering, дабы как раз выключать нужное, ненужное или всё) это наряду с системами DTM и входящие в них DPI, кторые операторы по собственной воле ставят дабы знать кто чего и как и по своему разумению что нибудь ограничивать (например skype на мобильных телефонах)или подругому тарифицировать.
Могу еще добавить, что СОРМ имеется и у операторов почтовой связи.
Кто-кому-когда пересылал. Правда "Что" остается пока за кадром - "Третье правило – никогда не смотреть, что за груз везешь". Но все может измениться. Введут обязательные пааспортные данные при отправлении посылок, например (в том числе из интернет магазинов). Запросто.
> Трафик на СОРМ поступает весь.
> Анализируется не весь.
> Декодируется тоже не весь
Не менее мощно -)
> Они пожелали подключаться на L2.
Ну вот, теперь вся группа в сборе -)
Благодарю за коменты, в мемориз (вместе с раскладкой про SMTP/FTP).
=====
К нам в контору какое-то время назад повалили программисты. Из КБ Сухого. Один зашёл, второй.. и как начали они ад адов программировать, у нас, старых сотрудников аж уши в трубочки посворачивались. Если кому знакомо чувство, когда человек рядом обоссался, а тебе стыдно за это...
В общем через некоторое время "КБист из Сухого" стало ругательством. Я даже стал реально побаиваться летать самолётами, особенно теми, что на джойстиках...
Потом я чисто случайно познакомился с одним товарищем из Питера (покупал у него кое-что), который руководит SD процессами как раз в таком вот КБ. Не удержался задать ему вопрос - если такие вот золотые кадры утекают из КБ, то кто остаётся.
Всё оказалось на самом деле очень просто. Приходит к ним такой вот "студент", ему дают какое-нибудь ответственное поручение. Ну типа файлы в зип-архивы паковать. Если чел не справляется - плохо пакует да ещё при этом много говорит (в том числе на стороне), то его отправляют из КБ пешком на. Собственно ни к какой сложной и важной технике их не допускают (ракета не жахнет, бомба сама не упадёт). Конечно этим золотым парням никто не мешает в резюме писать "КБ Сухого - программист системы управления вооружением"...
Палка о двух концах, с одной стороны нужно контролировать "от западного зла" и свободы слова, дабы уберечь население от "чужих планов" (правильно), с другой стороны интернет превратится в еще один ТВ - канал "Интернет". С одной стороны нужно ввести уголовную ответственность за "наезды" на власть и отдельных лиц в частности (правильно), а с другой стороны - "ВСЕМ БОЯТЬСЯ!!!" (аналогия СССР)...
Почему то вспомнились слова Дмитрия "Не бывает так чтобы вот здесь - полно, а здесь - пусто".