Клод шеннон краткая биография и интересные факты. Теория информации клода шеннона 4 клод шеннон основатель статистической теории информации

Клод Элвуд Шеннон – ведущий американский учёный в сфере математики, инженерии, криптоаналитики.

Он приобрёл мировую известность, благодаря своим открытиям в области информационных технологий и изобретению «бит» (1948 г.), как самой маленькой информационной единицы. Его считают основоположником информационной теории, основные положения которой до сих пор актуальны в разделе высокотехнологичной связи и современных коммуникаций.

Шенноном также было впервые введено понятие «энторопия» , что говорит о неопределённой мере передаваемой информации.

Этот учёный первым применил научный подход для информационной идей и законов криптографии, обосновав свои мысли в работах о математической теории связи, а также о теории связи в секретных системах.

Большой вклад внёс он и в развитие кибернетики, обосновав такие ключевые моменты, как вероятностность схемы, игровую научную концепцию, а также мысли о создании автоматов и управленческой системы.

Детские и юношеские годы

Клод Шеннон появился на свет в американском Петоски, что в штате Мичиган. Это радостное событие случилось 30.04.1916-го.

Отец будущего учёного занимался бизнесом в сфере адвокатуры, а затем был назначент судьёй. Мать – преподавала иняз и со временем получила должность директора школы в Гэйлорде.

Математические наклонности были присущи Шеннону-старшему. Ключевую роль в формировании склонности к научной деятельности у внука сыграл дедушка – фермер и изобретатель.

В его арсенале создание стиральной машинки и некоторых видов прикладной сельхозтехники. Примечательно, что Эдисон имеет родственные связи с этой семьёй.

В 16-летнем возрасте Клод закончил среднюю школу, где преподавала его мать. Успел поработать курьером в Western Union, занимался конструированием различных устройств.

Его интересовало моделирование самолётов и радиотехники, ремонт небольших радиостанций. Он своими руками сделал лодку с радиоуправлением, телеграф для связи с другом.

Как уверяет сам Клод, его абсолютно не интересовали только политика и вера в Бога.

Студенческие годы

Университет Мичигана распахнул перед Шенноном свои двери в 1932 году. Учёба здесь открыла для него труды Дж. Буля. Диплом бакалавра по математике и электротехнике Клод получил в 1936 г.

Его первым местом работы стала должность ассистента-исследователя в технологическом университете Массачусета. Научную деятельность Клод вёл в качестве оператора механического компьютерного устройства, созданного его учителем В.Бушем.

Глубоко вникнув в концептуальные научные разработки Буля, Шеннон понял возможность их практического применения. Защитив магистерскую диссертацию в 1937 г., которую курировал Фрэнк Л. Хичкок, он перешёл в известную Bell Telephone Laboratories, где выпустил материал по символическому анализу в схемах переключения и с задействованием реле.

Он был размещён на страницах специального журнала институтом инженеров-электриков в США (1938 г.).

Основные положения статьи раскрыли усовершенствование маршрутного посыла телефонного вызова, благодаря замене реле электромеханического типа на переключающую схему. Молодой учёный обосновал концепцию о возможности решения применением схем всех задач Булевой алгебры.

Эта работа Шеннона получила Нобелевскую премию в области электрической инженерии (1940 г.) и стала основой для создания логических цифровых схем в электрических цепях. Этот магистерский труд стал настоящим научным прорывом ХХ века, положив начало созданию электронной вычислительной техники современного поколения.

Буш рекомендовал Шеннону заняться диссертацией на получение степени доктора математических наук. Серьёзное внимание им было уделено математическим исследованиям в тесной связи с генетическими законами наследственности известного Менделя. Но эта работа так и не получила должного признания и впервые была опубликована только в 1993 г.

Немало сил учёным было отдано построению математического фундамента для различных дисциплин, особенно информационных технологий. Этому способствовало его общение с видным математиком Г. Вейлем, а также Дж. Фон Нейманом, Энштейном, Гёделем.

Военный период

С весны 1941 г. до 1956 г. Клод Шеннон работает на оборону США, разрабатывая управление огнём и обнаружение врага при ведении противовоздушной обороны. Он создал устойчивую межправительственную связь президента США с английским премьером.

Национальной премии в области научных исследований он был удостоен за свой доклад об организации двухполюсных переключающих цепей (1942 г.).

Учёный заинтересовался идеями англичанина Тьюринга по шифрованию речи (1943 г.), и уже в 1945-м выпустил работу об усреднении данных и прогнозировании для систем управления огнём. Его соавторами стали Ральф Б. Блэкмен и Х. Боде. Смоделировав специальную систему, обрабатывающую информацию и спецсигналы, они положили начало информационному веку.

Секретный меморандум К. Шеннона в области математической теории криптографии (1945 г.) доказал, что криптография и теория связи – неразделимы.

Послевоенный период

Это время ознаменовано его меморандумом о теории связи с математической точки зрения (1948 г.) в части кодировки передаваемых текстов.

Дальнейшая работа Шеннона вплотную связана с информационной теорией в области разработки игр, в частности колеса рулетки, машины, читающей мысли, а также машины по сбору кубика Рубика.

Учёный воплотил идею, позволяющую сжать информацию, которая позволяет избежать её потерю при распаковке.

Учёный создал школу, где периодически вёл семинары, где учил студентов находить новые подходы к решению тех или иных задач.

Известны его научные исследования в области финансовой математики. Среди них, электрическая цепь денежного течения в американских пенсионных фондах и обоснование выбора портфеля инвестиций при распределении денежных активов.

Многие сравнивают популярность Клода Шеннона с Исааком Ньютоном.

После 1978 г., на пенсии он занялся теорией жонглирования и сконструировал специальную машину.

Сборник своих статей Клод Шеннон выпустил в 1993 году, куда вошли 127 его научных работ.

Завершающий жизненный этап

Последние годы он провёл в Массачусетском доме-интернате из-за болезни Альцгеймера . Здесь, по заверению его жены Мэри Элизабет, Клод участвовал в исследованиях по изучению способов её лечения.

Вся семья постоянно находилась рядом с ним. Смерть наступила 24.02.2001 г.

У Шеннона остались единственная жена, брак с которой продлился с марта 1949 г. У них родились трое детей Роберт, Андрю, Маргарита.

В 40-е гг. прошлого столетия американский ученыйК. Шеннон , специализировавшийся в вопросах пропускной способности каналов связи и кодирования сообщений, придал мере количества информации более универсальную форму: количество информации стало пониматься как величина энтропии, на которую уменьшается общая энтропия системы в результате получения этой системой информации . Формула эта выражает энтропию через сумму целого ряда вероятностей, помноженных на их логарифмы, и относится только к энтропии (неопределенности) сообщения.

Энтропия – количественная мера неопределённости, снимаемой при получении ниформации.

Иными словами, информативность сообщения обратно пропорциональна его очевидности , предсказуемости, вероятности: чем менее предсказуемо, неочевидно и маловероятно сообщение, тем больше информации оно несет для получателя. Совершенно очевидное (с вероятностью, равной 1) сообщение столь же пусто, сколь полное отсутствие такового (т. е. сообщения, вероятность которого заведомо равна 0). Оба они, согласно допущению Шеннона, неинформативны, не несут получателю никакой информации. По ряду причин, относящихся к математике и связанных с удобствами формализации, энтропия сообщения описывается Шенноном как функция распределения случайных величин.

Статья «Математическая теория связи», была опубликована в 1948 году и сделала Клода Шеннона всемирно известным. В ней Шеннон изложил свои идеи, ставшие впоследствии основой современных теорий и техник обработки передачи и хранения информации. Результаты его работ в области передачи информации по каналам связи запустили по всему миру огромное число исследований. Шеннон обобщил идеи Хартли и ввел понятие информации, содержащейся в передаваемых сообщениях. В качестве меры информации передаваемого сообщения М, Хартли предложил использовать логарифмическую функцию . Шеннон первым начал рассматривать передаваемые сообщения и шумы в каналах связи с точки зрения статистики , рассматривая как конечные множества сообщений, так и непрерывные множества сообщений.

Развитая Шенноном теория информации помогла решить главные проблемы, связанные с передачей сообщений, а именно: устранить избыточность передаваемых сообщений , произвести кодирование и передачу сообщений по каналам связи с шумами .

Решение проблемы избыточности подлежащего передаче сообщения позволяет максимально эффективно использовать канал связи. К примеру, современные повсеместно используемые методы снижения избыточности в системах телевизионного вещания на сегодняшний день позволяют передавать до шести цифровых программ коммерческого телевидения, в полосе частот, которую занимает обычный сигнал аналогового телевидения.

Решение проблемы передачи сообщения по каналам связи с шумами при заданном соотношении мощности полезного сигнала к мощности сигнала помехи в месте приема, позволяет передавать по каналу связи сообщения со сколь угодно малой вероятностью ошибочной передачи сообщения. Также, это отношение определяет пропускную способность канала. Это обеспечивается применением кодов, устойчивых к помехам, при этом скорость передачи сообщений по данному каналу должна быть ниже его пропускной способности.

Клод Шеннон краткая биография и интересные факты из жизни американского инженера, криптоаналитика и математика, отца информационного века, изложены в этой статье.

Клод Шеннон краткая биография

Клод Элвуд Шеннон появился на свет 30 апреля 1916 года в городке Петоцки, штат Мичиган. Его отец был юристом, а мать преподавала иностранные языки. В 1932 году юноша окончил среднюю школу и параллельно обучался на дому. Отец Клода постоянно покупал сыну радиолюбительские наборы и конструкторы, содействуя его техническому творчеству. А старшая сестра проводила ему углубленные занятия математикой. Поэтому любовь к технике и математике была очевидной.

В 1932 году будущий ученый поступает в университет Мичигана. Окончил учебное заведение в 1936 году со степенью бакалавра по математике и электротехнике. В университете он прочитал работы «Логическое исчисление» и «Математический анализ логики» автора Джорджа Буля, которые во многом определили его будущие научные интересы.

Вскоре его пригласили на работу в Массачусетский технологический институт на должность ассистента-исследователя в лаборатории электротехники. Шеннон работал над модернизацией аналогового компьютера, дифференциального анализатора Ванневара Буша.

В 1936 году Клод решил поступать в магистратуру, и годом позже написал диссертацию. На ее основе выдает статью под названием «Символьный анализ реле и переключательных схем», опубликовал ее 1938 году в журнале Американского института инженеров-электриков. Его статья заинтересовала научное электротехническое сообщество и в 1939 году ему присудили Премию им. Альфреда Нобеля. Не окончив магистерскую диссертацию, Шеннон начал работу над докторской работой по математике, затрагивая задачи генетики. Она называлась «Алгебра для теоретической генетики».

В 1941 году, в возрасте 25 лет, он стал работать в математическом отделении научно-исследовательского центра «Bell Laboratories». В Европе в это время начались военные действия. Америка финансировала исследования Шеннона в области криптографии. Он являлся автором анализа зашифрованных текстов при помощи информационно-теоретических методов. Ученый в 1945 году завершает большой секретный отчет «Математическая теория криптографии».

Какой вклад внес Клод Шеннон в информатику?

В своих исследованиях ученый подготовил концепции по теории информации. В 1948 году Шеннон опубликовал труд «Математическая теория связи», в которой математическая теория предстала как приемник информации и канал связи для ее передачи. Осталось только все перевести на более простой язык и донести свои наработки человечеству. Клод Шеннон ввел такое понятие информационной энтропии, которое обозначает величину, единицу информации. Ученый рассказывал, что данный термин ему посоветовал использовать математик . Клод Шеннон создал 6 концептуальных теорем, которые являются фундаментом его теории информации:

  • Теорема количественной оценки информации.
  • Теорема рациональной упаковки символов при первичном кодировании.
  • Теорема согласования потока информации с пропускной способностью канала связи без помех.
  • Теорема согласования потока информации с пропускной способностью двоичного канала связи с помехами.
  • Теорема оценки пропускной способности непрерывного канала связи.
  • Теорема безошибочного восстановления непрерывного сигнал.

В 1956 году ученый прекращает работу в «Bell Laboratories» и занимает должность профессора сразу на двух факультетах технологического института в Массачусетсе: электротехническом и математическом.

Когда ему исполнилось 50 лет, он перестает заниматься преподавательской деятельностью и всего себя посвящает любимым хобби. Он создал одноколесный велосипед с 2-мя седлами, роботов, которые собирают кубик Рубик и жонглируют шарами, складной нож с большим количеством лезвий. В 1965 году он посетил СССР. А в последнее время Клод Шеннон сильно болел и умер в феврале 2001 году от недуга Альцгеймера в массачусетском доме престарелых.

Клод Шеннон интересные факты

Любовь к науке была привита Шеннону его дедушкой. Дед Шеннона был изобретателем и фермером. Он изобрёл стиральную машину вместе с многой другой полезной в сельском хозяйстве техникой

Подростком он работал посыльным в Western Union.

Он увлекался игрой на кларнете , слушал музыку и читал поэзию.

Шеннон женился 27 марта 1949 года, на Мэри Элизабет Мур Шеннон, с которой познакомился в «Bell Labs». Она работала там аналитиком. У супругов родилось трое детей: Андрю Мур, Роберт Джеймс и Маргарита Катерина.

Клод Шеннон на выходных любил сгонять в Лас-Вегас вместе со своей женой Бетти и коллегой, дабы поиграть в блэкджек. Шеннон со своим другом даже спроектировали первый в мире wearable-компьютер, занимающийся «подсчетом карт».

Занимался разработкой устройств, которые обнаруживали самолеты противника и наводили на них зенитные установки. Также он создал криптографическую систему для правительства США, обеспечивающею тайность переговоров Рузвельта и Черчилля.

Любил играть в шахматы и жонглировать. Свидетели его молодости в Bell Laboratories вспоминали, как он разъезжал по коридорам фирмы на одноколесном велосипеде, при этом жонглируя мячами.

Он создал одноколесный велосипед с двумя седлами, складной нож с сотней лезвий, роботов, собирающих кубик Рубика, и робота, жонглирующего шарами.

Шеннон, по собственным словам, был аполитичным человеком и атеистом.

В старых энциклопедиях "Информации" не было. За "Инфлянтами Польскими" там сразу следовали "Инфралапсарии". И когда такая статья появилась в общедоступном издании, Малой Советской Энциклопедии 1929 года выпуска, смысл термина информация был очень далек от современного.

Информация (лат.), осведомление. Информационный - осведомительный. В органах периодической печати информационный отдел - та часть газеты, журнала и т.п., которая содержит телеграммы, корреспонденции, интервью, а также сведения, даваемые репортерами".

Многочисленные в те годы информаторы, снабжающие любознательные организации данными о жизни сослуживцев и соседей, в общедоступные издания по понятным причинам не попадали. Но интересно, что хотя в технике связи, особенно в стационарных каналах, ключ Морзе был к тому времени вытеснен стартстопными аппаратами, но деятельность вышеописанных информаторов в народе описывали лаконично - "стучат". "Компьютерре" лишь в следующем веке предстояло поведать читателям, что дятел в лесу работает как живой модем, а мудрое коллективное бессознательное уже присвоило тем многочисленным и скромным информационным работникам лапидарное - "дятел"!

Древние римляне употребляли слово informatio в смысле - истолкование, представление, - но вот современное, исключительно емкое понятие информация есть плод развития в равной мере и науки, и технологии. Латинское in-formo (придавать форму, составлять, воображать) употреблялось еще Цицероном и связано с платоновскими первоидеями через греческое, весьма многозначное, eidos. Но полноценный термин "информация" появился сравнительно поздно, даже позже первых электронно-вычислительных машин, и атомных котлов, и бомб.

Ввел его Клод Шеннон (Claude Shannon) в работе 1948 года "A Mathematical Theory of Communication". И вызвала его к жизни суровая практическая необходимость передавать сообщения по изобилующим шумами каналам. Точно так же, как поколениями раньше необходимость учета динамических характеристик телеграфных линий породила гениальные труды Хевисайда.

Вводится понятие информации чисто математически. Достаточно популярное, но и точное понятие дано в старой, весьма известной в СССР работе братьев Ягломов. Информация вводится как оппозиция, противостояние энтропии. Шуму, хаосу, неопределенности, "незнанию".

А энтропия в теорию коммуникаций была введена еще раньше, в 1928 году пионерскими работами американского инженера-электроника Ральфа Винтона Лайона Хартли. Отметим, кстати, что, говоря о чисто практических задачах связи, Хартли упомянул "психологические факторы", влияющие на меру неопределенности. Вообще же, используемым им (и позже Шенноном) математическим аппаратом была теория вероятности. Дисциплина, возникшая из любви французских аристократов к азартным играм.

И понятие энтропии в те времена даже в физике носило эмоциональный окрас, - еще бы! - ведь самым первым следствием этой ранней формулировки стало понимание невозможности создания Вечного двигателя второго рода. Устройства, которое могло бы производить работу за счет одной только рассеянной вокруг теплоты.

Проникновение этих понятий в научную среду было крайне драматичным. Прежде всего - "тепловая смерть" Вселенной. Для того чтобы представить, как эта концепция воспринималась в годы ее оформления, нужно обратиться к интеллектуальной атмосфере девятнадцатого века. Хоть и начавшийся мясорубкой, учиненной военно-бюрократической машиной Наполеона, век этот оказался временем торжества прогресса.

И тут в благолепие прогресса, сияющей дороги к усложнению и счастью, вторглось представление о неубывании хаоса, о ПРЕДСКАЗАННОЙ НАУКОЙ "тепловой смерти" Вселенной. Нет, не о Светопреставлении религий, за которым следует новая жизнь среди новых небес и на новой земле. О научной, ощутимой и безысходной всеобщей гибели, хоть и весьма отдаленной, но абсолютно неминуемой.

И осознавали это не только ученые. Обратимся к чеховской "Чайке".

Вот монолог Нины Заречной в эпизоде с вставной пьесой нарочито плохого литератора: "Люди, львы, орлы и куропатки, рогатые олени, гуси, пауки, молчаливые рыбы, обитавшие в воде, морские звезды и те, которых нельзя было видеть глазом, - словом, все жизни, все жизни, свершив свой печальный круг, угасли... <...> Холодно, холодно, холодно. Пусто, пусто, пусто. Страшно, страшно, страшно...."

Вспомним самоубийство сына К. Э. Циолковского, вызванное, по мнению биографов, ужасом грядущей "тепловой смерти". Ведь действительно, для сторонников материализма, весьма распространенного в интеллектуальных кругах того времени, прекращение молекулярного движения из-за достижения максимума энтропии означало ВСЕОБЩУЮ гибель. Жизнь делалась бессмысленной для человека, склонного к обобщениям и к экстраполяциям.

Введение Ральфом Хартли понятия энтропии при передаче сообщений, и - Клодом Шенноном - ее антитезы - уже собственно информации, при всей своей видимой ТЕХНИЧНОСТИ были событиями колоссального мировоззренческого значения. Впервые позитивные науки, причем рука об руку с инженерным делом, тогдашним фронтиром хайтека, пришли туда, где до этого царили философия, метафизика и теология.

Забавнее всего на теорию информации и кибернетику реагировали в сталинском СССР. Казалось бы - триумф материализма. Но не тут-то было... В большевистской стране для теории информации (как и теории относительности, квантовой механики, нестационарной Вселенной) в своде идеологических основ места не предусмотрели. Ну не успели классики марксизма об этом высказаться. Да и не могли ещё... И была совсем юная кибернетика объявлена продажной девкой империализма. Попытки реабилитации ее в начале шестидесятых уже ничего не решали. Впрочем, это - тема для отдельного разговора.

А введенная Шенноном концепция информации, преобразовав окружающий нас мир, став основой Второй природы, все больше и больше возвращается в теоретическую физику. Израильский физик, создатель термодинамической теории черных дыр Якоб Давид Бекенштайн (Bekenstein, р.1947) предположил5,что это - общая тенденция современного естествознания.

В феномене "квантового спутывания" частиц (quantum entanglement) информация предстает в одной из своих новых одежд, а возможно, и новыми чертами своего характера. Но главное - чем больше и больше мы узнаем окружающее, тем яснее видим глубокие связи информации с объективным миром.

Из журнала "Компьютерра"
Информация forever

Ральф Хартли

Ральф. Хартли родился в Ели, Штате Невада, 30 ноября 1888. Он получил высшее образование со степенью A.B. от Университета Юты в 1909. Как Родосский Ученый, он получил степень B.A. в 1912 и степень B.Sc. в 1913 от Оксфордского университета. После возвращения из Англии, Хартли присоединился к Научно-исследовательской лаборатории Западной Электрической Компании и принял участие в создании радиоприемника для трансатлантических тестов. В течение Первой мировой войны, Хартли решил проблемы, которые препятствовали развитию направленных искателей звукового типа.

После войны ученый вплотную занялся проблемой передачи информации (в частности звуковой). В течение этого периода он сформулировал закон, "что общая сумма информации, которая может быть передана, пропорциональна переданному частотному диапазону и времени передачи." Хартли был пионером в области Информационной Теории. Он ввёл понятие "информации" как случайная переменная и был первый, кто попытался определить "меру информации" (1928: " Передача Информации", в Технологии Системы Звонка. Журнал, издание 7, стр 535-563). Публикация в том же самом журнале как Nyquist, и все же не цитируя Nyquist (или кто - либо еще, впрочем), Хартли развивал понятие информации, основанной на "физическом как противопоставлено с психологическими рассмотрениями" для использования в изучении электронных коммуникаций. Фактически, Хартли соответственно определяет это основное понятие. Вместо этого он обращается к "точности... информации" и "количества информации".

Информация существует в передаче символов, с символами, имеющими "определенные значения к партийному сообщению". Когда кто - то получает информацию, каждый полученный символ позволяет получателю "устранять возможности", исключая другие возможные символы и их связанные значения. "

Точность информации зависит от того, что другие последовательности символа, возможно, были выбраны"; мера этих других последовательностей обеспечивает признак количества переданной информации. Nyquist тогда предлагает, чтобы мы взяли "как наша практическая мера информации логарифм числа возможных последовательностей символа". Таким образом, если бы мы получили 4 различных символа, происходящие с равной частотой, то это представило бы 2 бита Хартли награжден премиями за отличия в области науки, этот ученый состоял в американской Ассоциации Продвижения Науки. Хартли принадлежат больше чем 70 патентов (изобретений). Ральф В.л. Хартли умер 1 мая 1970 в возрасте 81 года.

Клод Элвуд Шеннон


Клод Элвуд Шеннон (Shannon) (1916 - 2001) - американский инженер и математик. Человек, которого называют отцом современных теорий информации и связи.

Осенним днем 1989 года корреспондент журнала "Scientific American" вошел в старинный дом с видом на озеро к северу от Бостона. Но встретивший его хозяин, 73-летний стройный старик с пышной седой гривой и озорной улыбкой, совсем не желал вспоминать "дела давно минувших дней" и обсуждать свои научные открытия 30-50-летней давности. Быть может, гость лучше посмотрит его игрушки?

Не дожидаясь ответа и не слушая увещеваний жены Бетти, хозяин увлек изумленного журналиста в соседнюю комнату, где с гордостью 10-летнего мальчишки продемонстрировал свои сокровища: семь шахматных машин, цирковой шест с пружиной и бензиновым двигателем, складной нож с сотней лезвий, двухместный одноколесный велосипед, жонглирующий манекен, а также компьютер, вычисляющий в римской системе счисления. И не беда, что многие из этих творений хозяина давно сломаны и порядком запылены, - он счастлив.

Кто этот старик? Неужели это он, будучи еще молодым инженером Bell Laboratories, написал в 1948 году "Великую хартию" информационной эры - "Математическую теорию связи"? Его ли труд назвали "величайшей работой в анналах технической мысли"? Его ли интуицию первооткрывателя сравнивали с гением Эйнштейна? Да, это все о нем. И он же в тех же 40-х годах конструировал летающий диск на ракетном двигателе и катался, одновременно жонглируя, на одноколесном велосипеде по коридорам Bell Labs. Это Клод Элвуд Шеннон, отец кибернетики и теории информации, гордо заявивший: "Я всегда следовал своим интересам, не думая ни о том, во что они мне обойдутся, ни об их ценности для мира. Я потратил уйму времени на совершенно бесполезные вещи."

Клод Шеннон родился в 1916 году и вырос в городе Гэйлорде штата Мичиган. Еще в детские годы Клод познакомился как с детальностью технических конструкций, так и с общностью математических принципов. Он постоянно возился с детекторными приемниками и радиоконструкторами, которые приносил ему отец, помощник судьи, и решал математические задачки и головоломки, которыми снабжала его старшая сестра Кэтрин, ставшая впоследствии профессором математики. Клод полюбил эти два мира, столь несхожие между собой, - технику и математику.

Будучи студентом Мичиганского университета, который он окончил в 1936 году, Клод специализировался одновременно и в математике, и в электротехнике. Эта двусторонность интересов и образования определила первый крупный успех, которого Клод Шеннон достиг в свои аспирантские годы в Массачусетском технологическом институте. В своей диссертации, защищенной в 1940 году, он доказал, что работу переключателей и реле в электрических схемах можно представить посредством алгебры, изобретенной в середине XIX века английским математиком Джорджем Булем. "Просто случилось так, что никто другой не был знаком с этими обеими областями одновременно!" - так скромно Шеннон объяснил причину своего открытия.

В наши дни совершенно излишне объяснять читателям компьютерного издания, что значит булева алгебра для современной схемотехники. В 1941 году 25-летний Клод Шеннон поступил на работу в Bell Laboratories. В годы войны он занимался разработкой криптографических систем, и позже это помогло ему открыть методы кодирования с коррекцией ошибок. А в свободное время он начал развивать идеи, которые потом вылились в теорию информации. Исходная цель Шеннона заключалась в улучшении передачи информации по телеграфному или телефонному каналу, находящемуся под воздействием электрических шумов. Он быстро пришел к выводу, что наилучшее решение проблемы заключается в более эффективной упаковке информации.

Но что же такое информация? Чем измерять ее количество? Шеннону пришлось ответить на эти вопросы еще до того, как он приступил к исследованиям пропускной способности каналов связи. В своих работах 1948-49 годов он определил количество информации через энтропию - величину, известную в термодинамике и статистической физике как мера разупорядоченности системы, а за единицу информации принял то, что впоследствии окрестили "битом", то есть выбор одного из двух равновероятных вариантов. Позже Шеннон любил рассказывать, что использовать энтропию ему посоветовал знаменитый математик Джон фон Нейман, который мотивировал свой совет тем, что мало кто из математиков и инженеров знает об энтропии, и это обеспечит Шеннону большое преимущество в неизбежных спорах. Шутка это или нет, но как трудно нам теперь представить, что всего полвека назад понятие "количество информации" еще нуждалось в строгом определении и что это определение могло вызвать какие-то споры.

На прочном фундаменте своего определения количества информации Клод Шеннон доказал удивительную теорему о пропускной способности зашумленных каналов связи. Во всей полноте эта теорема была опубликована в его работах 1957-61 годов и теперь носит его имя. В чем суть теоремы Шеннона? Всякий зашумленный канал связи характеризуется своей предельной скоростью передачи информации, называемой пределом Шеннона. При скоростях передачи выше этого предела неизбежны ошибки в передаваемой информации. Зато снизу к этому пределу можно подойти сколь угодно близко, обеспечивая соответствующим кодированием информации сколь угодно малую вероятность ошибки при любой зашумленности канала.

Эти идеи Шеннона оказались слишком провидческими и не смогли найти себе применения в годы медленной ламповой электроники. Но в наше время высокоскоростных микросхем они работают повсюду, где хранится, обрабатывается и передается информация: в компьютере и лазерном диске, в факсимильном аппарате и межпланетной станции. Мы не замечаем теорему Шеннона, как не замечаем воздух.

Кроме теории информации, неуемный Шеннон приложился во многих областях. Одним из первых он высказал мысль о том, что машины могут играть в игры и самообучаться. В 1950 году он сделал механическую мышку Тесей, дистанционно управляемую сложной электронной схемой. Эта мышка училась находить выход из лабиринта. В честь его изобретения IEEE учредил международный конкурс "микромышь", в котором до сих пор принимают участие тысячи студентов технических вузов. В те же 50-е годы Шеннон создал машину, которая "читала мысли" при игре в "монетку": человек загадывал "орел" или "решку", а машина отгадывала с вероятностью выше 50%, потому что человек никак не может избежать каких-либо закономерностей, которые машина может использовать.

В 1956 году Шеннон покинул Bell Labs и со следующего года стал профессором Массачусетского технологического института, откуда ушел на пенсию в 1978 году. В числе его студентов был, в частности, Марвин Мински и другие известные ученые, работавшие в области искусственного интеллекта.

Труды Шеннона, к которым с благоговением относятся деятели науки, столь же интересны и для специалистов, решающих сугубо прикладные задачи. Шеннон заложил основание и для современного кодирования с коррекцией ошибок, без которого не обходится сейчас ни один дисковод для жестких дисков или система потокового видео, и, возможно, многие продукты, которым еще только предстоит увидеть свет.

В МТИ и на пенсии им полностью завладело его давнее увлечение жонглированием. Шеннон построил несколько жонглирующих машин и даже создал общую теорию жонглирования, которая, впрочем, не помогла ему побить личный рекорд - жонглирование четырьмя мячиками. Еще он испытал свои силы в поэзии, а также разработал разнообразные модели биржи акций и опробовал их (по его словам - успешно) на собственных акциях.

Но с начала 60-х годов Шеннон не сделал в теории информации практически больше ничего. Это выглядело так, как будто ему всего за 20 лет надоела созданная им же теория. Такое явление - не редкость в мире науки, и в этом случае об ученом говорят одно слово: перегорел. Как лампочка, что ли? Мне кажется, более точным было бы сравнение ученых со звездами. Самые мощные звезды светят не долго, около ста миллионов лет, и кончают свою творческую жизнь вспышкой сверхновой, в процессе которой происходит нуклеосинтез: из водорода и гелия рождается вся таблица Менделеева. Мы с вами состоим из пепла этих звезд, и так же наша цивилизация состоит из продуктов быстрого сгорания самых мощных умов. Есть звезды второго типа: они горят ровно и долго и миллиарды лет дарят свет и тепло населенным планетам (по крайней мере, одной). Исследователи такого типа тоже очень нужны науке и человечеству: они сообщают цивилизации энергию развития. А звезды третьего сорта - красные и коричневые карлики - светят и греют чуть-чуть, лишь себе под нос. Таких ученых хватает, но в статье о Шенноне говорить о них просто неприлично.

В 1985 году Клод Шеннон и его жена Бетти неожиданно посетили Международный симпозиум по теории информации в английском городе Брайтоне. Почти целое поколение Шеннон не появлялся на конференциях, и поначалу его никто не узнал. Затем участники симпозиума начали перешептываться: вон тот скромный седой джентльмен - это Клод Элвуд Шеннон, тот самый! На банкете Шеннон сказал несколько слов, немного пожонглировал тремя (увы, только тремя) мячиками, а затем подписал сотни автографов ошеломленным инженерам и ученым, выстроившимся в длиннейшую очередь. Стоящие в очереди говорили, что испытывают такие же чувства, какие испытали бы физики, явись на их конференцию сам сэр Исаак Ньютон.

Клод Шеннон скончался в 2001 году в массачусетском доме для престарелых от болезни Альцгеймера на 84 году жизни.

По материалам статьи Сергея Серого в газете "Компьютерные Вести", №21, 1998 г.
Адрес сайта:

Научная сфера: Место работы: Альма-матер : Известен как: Награды и премии


  • Премия им. А. Нобеля AIEE (1940) ;
  • Премия памяти М. Либмана (англ.) русск. IRE (1949) ;
  • Медаль Почёта IEEE (1966) ;
  • Национальная научная медаль (1966) ;
  • Премия Харви (1972) ;
  • Премия Киото (1985) .

Биография

В 1985 году Клод Шеннон со своей супругой Бетти посещает Международный симпозиум по теории информации в Брайтоне. Шеннон довольно долго не посещал международные конференции, и сначала его даже не узнали. На банкете Клод Шеннон дал короткую речь, пожонглировал всего тремя мячиками, а затем раздал сотни и сотни автографов изумленным его присутствием ученым и инженерам, отстоявшим длиннейшую очередь, испытывая трепетные чувства по отношению к великому ученому, сравнивая его с сэром Исааком Ньютоном .

Он был разработчиком первой промышленной игрушки на радиоуправлении, которая выпускалась в 50-е годы в Японии (фото). Также он разработал устройство, которое могло складывать кубик Рубика (фото), мини компьютер для настольной игры Гекс , который всегда побеждал соперника (фото), механическую мышку, которая могла находить выход из лабиринта (фото). Также он реализовал идею шуточной машины «Ultimate Machine» (фото).

Теория связи в секретных системах

Работа Шеннона «Теория связи в секретных системах» (1945) с грифом «секретно», которую рассекретили и опубликовали только лишь в 1949 году, послужила началом обширных исследований в теории кодирования и передачи информации, и, по всеобщему мнению, придала криптографии статус науки. Именно Клод Шеннон впервые начал изучать криптографию, применяя научный подход. В этой статье Шеннон определил основополагающие понятия теории криптографии, без которых криптография уже немыслима. Важной заслугой Шеннона является исследования абсолютно стойких систем и доказательство их существования, а также существование криптостойких шифров, и требуемые для этого условия. Шеннон также сформулировал основные требования, предъявляемые к надежным шифрам. Он ввёл ставшие уже привычными понятия рассеивания и перемешивания, а также методы создания криптостойких систем шифрования на основе простых операций. Данная статья является отправным пунктом изучения науки криптографии.

Статья «Математическая теория связи»

  • Теорема Найквиста - Шеннона (в русскоязычной литературе - теорема Котельникова) - об однозначном восстановлении сигнала по его дискретным отсчётам.
  • (или теорема бесшумного шифрования) устанавливает предел максимального сжатия данных и числовое значение энтропии Шеннона.
  • Теорема Шеннона - Хартли

См. также

  • Интерполяционная формула Уиттекера - Шеннона

Примечания

Литература

  • Shannon C. E. A Mathematical Theory of Communication // Bell System Technical Journal . - 1948. - Т. 27. - С. 379-423, 623-656.
  • Shannon C. E. Communication in the presence of noise // Proc. Institute of Radio Engineers . - Jan. 1949. - Т. 37. - № 1. - С. 10-21.
  • Шеннон К. Работы по теории информации и кибернетике. - М .: Изд-во иностранной литературы, 1963. - 830 с.

Ссылки

  • Библиография (англ.)

Категории:

  • Персоналии по алфавиту
  • Учёные по алфавиту
  • Родившиеся 30 апреля
  • Родившиеся в 1916 году
  • Родившиеся в Мичигане
  • Умершие 24 февраля
  • Умершие в 2001 году
  • Умершие в Массачусетсе
  • Математики США
  • Теория информации
  • Криптографы
  • Кибернетики
  • Пионеры компьютерной техники
  • Исследователи искусственного интеллекта
  • Учёные в области науки о системах
  • Выпускники Массачусетского технологического института
  • Выпускники Мичиганского университета
  • Преподаватели Массачусетского технологического института
  • Члены и члены-корреспонденты Национальной академии наук США
  • Иностранные члены Лондонского королевского общества
  • Математики XX века
  • Лауреаты премии Харви
  • Награждённые Национальной медалью науки США
  • Награждённые медалью почёта IEEE
  • Персоналии:Компьютерные шахматы
  • Электротехники США

Wikimedia Foundation . 2010 .

Поделитесь с друзьями или сохраните для себя:

Загрузка...