Измельчённые документы

06.12.11 11:02 | Goblin | 51 комментарий »

Разное

С мест сообщают:
Первое место и призовые $50 тысяч завоевала команда программистов из Сан-Франциско под названием «Все ваши обрезки принадлежат США» (All Your Shreds Are Belong To U.S.). Она быстрее и точнее соперников собрала все пять пазлов, то есть документов, разрезанных в общей сумме на 10 тысяч тонких полосок. И ещё она первой ответила на связанные с загадками вопросы относительно городов и людей, упоминаемых в текстах.

Исходный и реконструированный победителем текст номер 1. Он был разбит всего на 224 кусочка (дальше степень измельчения пазлов шла по нарастающей), потому данную бумагу команда собрала уже 6 ноября (иллюстрация Shredder Challenge/DARPA). Ключом к успешному решению задания оказалось сочетание чисто машинного подхода (сортировка и сравнение фрагментов) с творческой работой людей-сборщиков, сообщает устроившее конкурс агентство DARPA. Программа-победитель подбирала отсканированные кусочки бумаг друг к другу лишь вчерне и предъявляла пары для проверки членам команды.

Последние не просто по буквам отслеживали верные сочетания соседних полосок, а использовали по ходу восстановления документов разбросанные по ним подсказки, то есть обращали внимание на смысл складывающихся головоломок.

К примеру, в первом тексте упоминается название фильма, который снял режиссёр Анатоль Литвак в 1937 году. В энциклопедии можно узнать, что в данном году Литвак выпустил две ленты – «Товарищ» и «Женщина, которую я люблю». Товарищ по-английски – comrade, и это как раз то слово, с которого начинается первый документ.
В США названы лучшие восстановители измельчённых документов

Праздник идиотии — измельчённые документы по инструкции надо сжигать.

Вступай в нашу группу ВКонтакте

Комментарии
Goblin рекомендует заказать лендинг в megagroup.ru


cтраницы: 1 всего: 51, Goblin: 2

Goblin
отправлено 06.12.11 11:02 # 1


Победитель соревнования по реконструкции текстов, пропущенных через шредер, стал известен намного раньше, чем ожидалось. Чемпионы-сыщики проявили изобретательность и смекалку.

Стартовавший в конце октября конкурс по воссозданию измельчённых документов Shredder Challenge завершён.

Первое место и призовые $50 тысяч завоевала команда программистов из Сан-Франциско под названием «Все ваши обрезки принадлежат США» (All Your Shreds Are Belong To U.S.). Она быстрее и точнее соперников собрала все пять пазлов, то есть документов, разрезанных в общей сумме на 10 тысяч тонких полосок. И ещё она первой ответила на связанные с загадками вопросы относительно городов и людей, упоминаемых в текстах.

Исходный и реконструированный победителем текст номер 1. Он был разбит всего на 224 кусочка (дальше степень измельчения пазлов шла по нарастающей), потому данную бумагу команда собрала уже 6 ноября (иллюстрация Shredder Challenge/DARPA).
Ключом к успешному решению задания оказалось сочетание чисто машинного подхода (сортировка и сравнение фрагментов) с творческой работой людей-сборщиков, сообщает устроившее конкурс агентство DARPA. Программа-победитель подбирала отсканированные кусочки бумаг друг к другу лишь вчерне и предъявляла пары для проверки членам команды.

Последние не просто по буквам отслеживали верные сочетания соседних полосок, а использовали по ходу восстановления документов разбросанные по ним подсказки, то есть обращали внимание на смысл складывающихся головоломок.

К примеру, в первом тексте упоминается название фильма, который снял режиссёр Анатоль Литвак в 1937 году. В энциклопедии можно узнать, что в данном году Литвак выпустил две ленты – «Товарищ» и «Женщина, которую я люблю». Товарищ по-английски – comrade, и это как раз то слово, с которого начинается первый документ.


Загадка номер пять была самой сложной во всей серии. Здесь было разрезано и перемешано сразу три листка бумаги (на фото показан только третий — до измельчения и после восстановления).

Один из трёх листов был исполосован в направлении, перпендикулярном двум другим, а общее число кусочков составило более шести тысяч! Вдобавок небольшая часть текста представляла собой морзянку в виде нагромождения повторяющихся слов dit и dah. Над этой головоломкой команда победителей колдовала до 29 ноября (иллюстрация Shredder Challenge/DARPA).
Собрав третий документ (на фото под заголовком), участники должны были назвать судьям задуманный в загадке город — Сьенфуэгос.

Интересно, что напрямую в документе этот город не упоминался, но зато там были указаны географические координаты Гаваны, нарисованы очертания Кубы и дан набросок весьма известного городского парка Сьенфуэгоса.


Исходный документ номер 3 и скрытые в нём подсказки. Данная бумага была разрезана на 1115 кусочков (иллюстрация Shredder Challenge/DARPA).
При выборе победителя учитывалось не только первенство в сборке пазлов. За те или иные правильные ответы на вопросы по содержанию документов судьи начисляли дополнительные баллы. Группа All Your Shreds Are Belong To U.S. оказалась лучшей не только в деле программирования, но и просто эрудиции, сообразительности.

Задача номер два. Умеренное число обрывков – всего 373 — позволило победителям восстановить этот документ быстро и практически на 100% (иллюстрация Shredder Challenge/DARPA).
Своё последнее решение из серии заданий команда из Сан-Франциско прислала всего через 33 дня после анонса конкурса. На составление алгоритма машинного зрения и сортировки обрывков, а также собственно на сборку бумаг умельцы потратили 600 человеко-часов.

Между тем перед стартом соревнования некоторые эксперты DARPA считали предложенные загадки практически нерешаемыми, во всяком случае в столь сжатые сроки.

Однако победители не только опровергли все прогнозы, но и наглядно показали, как из измельчённой мешанины бумаг можно извлекать читабельный текст и разбираться в его смысле даже при недостаче частей документа. А ведь именно это и было нужно инициаторам конкурса, представлявшим интересы военных и спецслужб.

Четвёртый пазл (порезанный на 2340 кусочков) поддался победителям лишь частично. Но и восстановленных фрагментов хватило для того, чтобы узнать «имена учёных», работавщих над «секретным проектом» (иллюстрация Shredder Challenge/DARPA).


Serж
отправлено 06.12.11 11:08 # 2


> измельчённые документы по инструкции надо сжигать.

Съедать!!! Я в кино видел!!!


StivenRND
отправлено 06.12.11 11:08 # 3


А если засунуть 50 листов, да с квадратом 1*1мм...
И таки да, огонь - лучший шредер.


Cyr
отправлено 06.12.11 11:12 # 4


> All Your Shreds Are Belong To U.S.

Смешно!


Hellfie
отправлено 06.12.11 11:17 # 5


Однако непонятно зачем вообще измельчать документы перед сжиганием, ведь сделать это после выйдет даже лучше, сгоревшие останки документов можно будет превратить в практически однородную пыль. И тогда никакие компании и компьютерные программы в ближайшем будущем не смогут восстановить текст.


Klugl
отправлено 06.12.11 11:41 # 6


> Однако непонятно зачем вообще измельчать документы перед сжиганием, ведь сделать это после выйдет даже лучше, сгоревшие останки документов можно будет превратить в практически однородную пыль. И тогда никакие компании и компьютерные программы в ближайшем будущем не смогут восстановить текст.

Чтобы лучше горело.


polinov85
отправлено 06.12.11 11:44 # 7


Помню жгли в котле документы из суда прямо в пачках, так половина попало в под топки и не сгорело. Нас ждали недели увлекательного чтения.


Ngeow
отправлено 06.12.11 12:01 # 8


Кому: Hellfie, #5

> Однако непонятно зачем вообще измельчать документы перед сжиганием,

В некоторых организациях документы сжигаются централизовано отдельно выделенными людьми, у которых может отсутствовать необходимый уровень допуска к содержимому сжигаемых документов.


jabbaxatt
отправлено 06.12.11 12:02 # 9


Кому: Hellfie, #5

> Однако непонятно зачем вообще измельчать документы перед сжиганием, ведь сделать это после выйдет даже лучше, сгоревшие останки документов можно будет превратить в практически однородную пыль. И тогда никакие компании и компьютерные программы в ближайшем будущем не смогут восстановить текст.

Затем, чтобы те кто сжигает не читали документы перед сожжением. Если по всё людски - доки пропускают через шредер, лапшу в ящик. Вечером специальная уборщица сжигает лапшу. А каждый документ жечь - немного неудобно.


Пенсионер
отправлено 06.12.11 12:05 # 10


Кому: Ngeow, #8

> В некоторых организациях документы сжигаются централизовано отдельно выделенными людьми, у которых может отсутствовать необходимый уровень допуска к содержимому сжигаемых документов.

Это где так?


GadMan
отправлено 06.12.11 12:11 # 11


Иш чё удумали!
Порабы уже к портативным шредерам, портативные сжигатели придумывать...


Shrike
отправлено 06.12.11 12:15 # 12


Кому: Пенсионер, #10

Возможно, в любом более или менее крупном посольстве?


Пенсионер
отправлено 06.12.11 12:20 # 13


Кому: Shrike, #12

> Возможно, в любом более или менее крупном посольстве?

Я не знаю, мне интересно. Камрад пишет - значит знает. По моему опыту документы уничтожались специальными комиссиями, все члены которых имели соответствующие допуска.


RedAlex
отправлено 06.12.11 12:21 # 14


Осталось исследовать пепел после сожжения документов!


Пенсионер
отправлено 06.12.11 12:23 # 15


Кому: RedAlex, #14

> Осталось исследовать пепел после сожжения документов!

Пепел полагается измельчать, а печь должна быть оборудована устройством улавливания, чтобы пепел в трубу не вылетал.


Serж
отправлено 06.12.11 12:25 # 16


Кому: Shrike, #12

> Возможно, в любом более или менее крупном посольстве?

Сам сжигал. Зачем кому-то читать уголовные дела про других? "Контору" не назову.


Punk_UnDeaD
отправлено 06.12.11 12:26 # 17


Кому: Hellfie, #5

> Однако непонятно зачем вообще измельчать документы перед сжиганием, ведь сделать это после выйдет даже лучше, сгоревшие останки документов можно будет превратить в практически однородную пыль. И тогда никакие компании и компьютерные программы в ближайшем будущем не смогут восстановить текст.

затем, что сжигать листы с текстом должен тот, у кого есть допуски к этому тексту
а перемешанную кучу бумажных обрезков можно поручить сжигать менее ответственным людям


Пенсионер
отправлено 06.12.11 12:30 # 18


Кому: Punk_UnDeaD, #17

> затем, что сжигать листы с текстом должен тот, у кого есть допуски к этому тексту
> а перемешанную кучу бумажных обрезков можно поручить сжигать менее ответственным людям

Неправильно это. Тот, кто сжигает, должен удостовериться, что сжигается именно то, что должно быть уничтожено. Это ведь всё актом оформляется. Соответственно, если и измельчается, то в присутствии комиссии, на месте уничтожения и непосредственно перед сжиганием.


polinov85
отправлено 06.12.11 12:36 # 19


Кому: Пенсионер, #18

> Соответственно, если и измельчается, то в присутствии комиссии, на месте уничтожения и непосредственно перед сжиганием.

Вот считаю сожжения партийных билетов были неправильно оформлены! надо было вместе с носителями в топку.


Пенсионер
отправлено 06.12.11 12:42 # 20


Кому: polinov85, #19

> Вот считаю сожжения партийных билетов были неправильно оформлены! надо было вместе с носителями в топку.

Может, не всё ещё потеряно? ;)


KatyKat
отправлено 06.12.11 12:45 # 21


> Исходный и реконструированный победителем текст номер 1. Он был разбит всего на 224 кусочка

[волнуется, достаточно ли мелко измельчила накануне кредитную карту, присланную из банка]


Dmitrij
отправлено 06.12.11 12:47 # 22


Кому: Hellfie, #5

> Однако непонятно зачем вообще измельчать документы перед сжиганием

Чисто практически - попробуй пожечь бумагу в больших количествах. Старый телефонный справочник, например. Мне как-то раз поручили спалить архив небольшой, так я заколебался. Жечь приходилось чуть ли не по одному листочку, бумага в стопке, даже небольшой, обгорает только по краям, а внутри практически целая. Жечь "дождик" из шрёдера гораздо проще и надёжнее.


Korsar Nik
отправлено 06.12.11 12:47 # 23


Кому: Hellfie, #5

> Однако непонятно зачем вообще измельчать документы перед сжиганием,

Тут ещё такой момент, что спрессованную бумагу тяжело сжечь. Пробовал когда-нибудь тетрадки палить, например? Различные папки с документами проще пропустить через шредер сперва, чтобы "распушить" бумагу перед тем, как жечь. Ну и да, вопросы допуска, которые привели выше.


RedAlex
отправлено 06.12.11 12:54 # 24


На последнем голосовании аппарат для голосования очень напоминал - шредер.


12Х18Н10Т
отправлено 06.12.11 13:16 # 25


Кому: Goblin, #0

> Праздник идиотии — измельчённые документы по инструкции надо сжигать.

А как же ГДР-овские документы? http://lenta.ru/news/2011/10/03/stasi/
Или журналисты всё переврали?


Ngeow
отправлено 06.12.11 13:21 # 26


Кому: Пенсионер, #10

> Это где так?

Камрад, я конкретных названий и примеров приводить в интернетах не стану, не обессудь.

В основном это там где есть допуска, но сами организации штатские. И там, где документы расходуются относительно регулярно, когда комиссий на каждый документ не насобираешся, а сами документы уровня ДСП копить смысла нет.

Там, где я сейчас тружусь, например, лапшу из черновиков и отработанных документов по некоторым проектам сжигают под присмотром вобще отдельно приглашаемые фирмы.


Peisov
отправлено 06.12.11 13:35 # 27


а вот интерсно - разработанные коды и методики - они кому в результате достались?

и во сколько обошлось все это мероприятие?

и сколько бы столи разработка аналогичных программ, если бы их разработку заказывать официально?


Пенсионер
отправлено 06.12.11 13:35 # 28


Кому: Ngeow, #26

> я конкретных названий и примеров приводить в интернетах не стану, не обессудь

На нет и суда нет.

> сами организации штатские

Вот в этом разница, наверное. Порядки, про которые я рассказал, не в штатских организациях заведены.


skyboy
отправлено 06.12.11 13:39 # 29


Не на том акцентируетесь.
Это ж по сути сложнейший паззл.
Победители, кроме усидчивости, использовали некоторые алгоритмы для ускорения процесса. И эти алгоритмы пригодятся не только и не столько восстанавливателям документов(судя по unshredder.ком, услуга имеет свой рынок), но и для решения других задач. И OCR - самое очевидное.
Молодцы ребята!


ringman
отправлено 06.12.11 13:41 # 30


> измельчённые документы по инструкции надо сжигать.

Совсем необязательно, видел я "шредер", который раньше стоял в обкоме. 2 вращающиеся металлические щётки, документы превращались в мелкую труху, фрагменты не более 0.5 мм.


Urbanghost
отправлено 06.12.11 13:41 # 31


Таким способом за очень дешево гос.службы получают технологии восстановления документов. В этих конкурсах участвуют обычно студенты и таким образом выявляют потенциальных кандидатов для приема на работу в аналитические отделы спецслужб. Дешево и сердито.


yuritlt
отправлено 06.12.11 13:53 # 32


Помнится в Иране лет 30 назад, когда из посольства американцы удирали, то документы пропустили через шредер, но не сожгли. Персы потом посадили толпу женщин паззлы собирать, говорят собрали все. Не знаю уж, дали ли им какой нибудь приз за это :)


Slaweek
отправлено 06.12.11 15:19 # 33


на грани бреда... представил шредер сканирующий опущеный на уничтожение документ, сохраняющий его в флеш память и пересылающий по G3 G4 сетям куда надо XD


eternalko
отправлено 06.12.11 16:26 # 34


Кому: Korsar Nik, #23

> Пробовал когда-нибудь тетрадки палить, например? Различные папки с документами проще пропустить через шредер сперва, чтобы "распушить" бумагу перед тем, как жечь.

Где-то я это уже видел (:


harper
отправлено 06.12.11 16:28 # 35


> Are Belong To

Надо полагать, английский для команды из Сан-Франциско - не родной язык.


Yelena
камрадесса
отправлено 06.12.11 17:22 # 36


Кому: harper, #35

> Надо полагать, английский для команды из Сан-Франциско - не родной язык.

Меня тоже это are дюже как смутило.


PinyaZubov
отправлено 06.12.11 17:28 # 37


Насколько меня не подводит память не знаю, но всплывает, что на соревнованиях топовый уровень измельчения - кусочки 1мм на 4 мм. Насколько меня опять-таки не подводит память у нас (в России) топовые документы положено мельчить 1мм на 1 мм. Ну а потом сжигать, да.


PinyaZubov
отправлено 06.12.11 17:30 # 38


Кому: harper, #35

Это цытата из командконквёра. Могли изувечить специяльно.


12Х18Н10Т
отправлено 06.12.11 17:54 # 39


Кому: harper, #35

> > > Are Belong To
>
> Надо полагать, английский для команды из Сан-Франциско - не родной язык.

Это аллюзия на широко известное в узких кругах ограниченных лиц: http://ru.wikipedia.org/wiki/All_your_base_are_belong_to_us


SHOEI
отправлено 06.12.11 19:47 # 40


Эх! Разучился народ копирки сжирать !!!


Илмет
отправлено 06.12.11 22:05 # 41


Разумеется идиотии, все ж инструкциям следуют неукоснительно. Все всё сжигают, а если поджечь нечем, то просто сжирают.

Как сотрудник службы безопасности банка сообщаю, что у нас вся ключевая и конфиденциальная информация уничтожается в сертифицированном шрэдере. Подобные соревнования являются началом долгой и серьезной работы по восстановлению уничтоженных документов. Аналогичные по идеологии соревнования проводит НАСА по создания космического лифта и троса.


bralachan
отправлено 06.12.11 22:15 # 42


Дмитрий Юрьевич, это был не конкурс на восстановление документов, а соревнование программированию. Darpa такие мероприятия часто устраивает, чтобы толковых студентов на заметку взять. ИМХО, было бы не плохо нашим ВУЗам и предприятиям ВПК этот опыт у себя внедрить.
А надежное уничтожение документов- это уже другая история.


Steel Rat
отправлено 06.12.11 22:32 # 43


А вот когда я ЗАСовцем был, то если и рвал документы то лишь для того, чтобы горели лучше. Начальник УС ещё пепел иногда проверял, по началу.


exor
отправлено 06.12.11 23:00 # 44


> Праздник идиотии — измельчённые документы по инструкции надо сжигать.

Для спец. служб может быть так, но коммерческие организации зачастую пользуются услугами компаний уничтожающих документы, потому что организовывать в центре города домну никто не позволит. В итоге документы измельчаются, вывозятся на грузовиках и затем уже уничтожаются.


Goblin
отправлено 06.12.11 23:46 # 45


Кому: bralachan, #42

Камрад, я в курсе.


Igor64
отправлено 07.12.11 00:45 # 46


Кому: yuritlt, #32

> Помнится в Иране лет 30 назад, когда из посольства американцы удирали, то документы пропустили через шредер, но не сожгли. Персы потом посадили толпу женщин паззлы собирать, говорят собрали все. Не знаю уж, дали ли им какой нибудь приз за это :)

Мне кажется в Ираке, сравнительно недавно и наоборот. Штаты складывали.


Бес-Пилот
отправлено 07.12.11 01:31 # 47


Кому: bralachan, #42

> Darpa такие мероприятия часто устраивает, чтобы толковых студентов на заметку взять.

у DARPA что ни соревнование, то в "оружие будущего" сюжетец. Автомобили то они научили самостоятельно ездить по городу. Теперь старые Хамви будут переделываться в роботов ... А по началу был спорт.


Navyrat
отправлено 07.12.11 07:11 # 48


На флоте, по инструкции, остатки пепла положено смешать с пищевыми отходами.


Зажравшийся
отправлено 07.12.11 09:11 # 49


Кому: exor, #44

> ии зачастую пользуются услугами компаний уничтожающих документы, потому что организовывать в центре города домну

маленькой буржуйки в подвале вполне хватает.


JCF
отправлено 07.12.11 12:26 # 50


Кому: bralachan, #42

Фамилия Парфёнов - ни о чем не говорит?


Barm
отправлено 08.12.11 00:03 # 51


Кому: bralachan, #42

> это был не конкурс на восстановление документов, а соревнование программированию

Как знать, вон в 2009 году конкурс по тестированию возможностей социальных сетей для поиска шаров был, а теперь твиттерные революции повсюду.

Такого рода мероприятия позволяют понять потенциальную возможность (полезность) определенных технологий, ну и людей тоже присматривают.



cтраницы: 1 всего: 51



Goblin EnterTorMent © | заслать письмо | цурюк