Что такое энтропия системы. Энтропия в нашей жизни. Отрывок, характеризующий Энтропия

Энтропия - это мера усложнения системы. Не беспорядка, а усложнения и развития. Чем больше энтропия, тем труднее понять логику этой конкретной системы, ситуации, явления. Принято считать, что чем больше проходит времени, тем менее упорядоченной становится Вселенная. Причина этого - неравномерная скорость развития Вселенной в целом и нас, как наблюдателей энтропии. Мы, как наблюдатели, являемся на огромное число порядков проще Вселенной. Поэтому она кажется нам чрезмерно избыточной, мы не в состоянии понять большинство причинно-следственных связей, её составляющих. Важен и психологический аспект - людям трудно свыкнуться с тем, что они не уникальны. Поймите, тезис о том, что люди - венец эволюции, недалеко ушёл от более раннего убеждения в том, что Земля является центром мироздания. Человеку приятно верить в свою исключительность и неудивительно, что структуры, которые сложнее нас, мы склонны видеть беспорядочными и хаотическими.

Выше есть очень хорошие ответы, объясняющие энтропию, исходя из современной научной парадигмы. На простых примерах отвечающие объясняют это явление. Разбросанные по комнате носки, разбитые стаканы, игра обезьян в шахматы и т.д. Но если приглядеться, то понимаешь - порядок здесь выражается в истинно человеческом представлении. К доброй половине таких примеров применимо слово "лучше". Лучше сложенные в шкафу носки, чем разбросанные носки на полу. Лучше целый стакан, чем стакан разбитый. Тетрадь, написанная красивым почерком лучше тетради с кляксами. В человеческой логике непонятно, что делать с энтропией. Дым, вылетающий из трубки не утилитарен. Разорванная на мелкие кусочки книга бесполезна. Из многоголосого говора и шума в метро трудно выудить хотя бы минимум информации. В этом смысле очень интересным будет вернуться к определению энтропии, введённому физиком и математиком Рудольфом Клаузиусом, видевшему это явление, как меру необратимого рассеяния энергии. От кого уходит эта энергия? Кому становится труднее ей воспользоваться? Да человеку же! Пролитую воду очень трудно (если не невозможно) всю, до капли снова собрать в стакан. Чтобы починить старую одежду, нужно воспользоваться новым материалом (тканью, нитками и т.д.). При этом не учитывается смысл, который данная энтропия может нести не для людей. Приведу пример, когда рассеяние энергии для нас будет нести прямо противоположный смысл для другой системы:

Вы знаете, что ежесекундно огромное количество информации с нашей планеты улетает в космос. Например, в виде радиоволн. Для нас эта информация кажется абсолютно потерянной. Но если на пути радиоволн окажется достаточно развитая инопланетная цивилизация, её представители могут принять и расшифровать часть этой потерянной для нас энергии. Услышать и понять наши голоса, увидеть наши телевизионные и радио передачи, подключиться к нашему интернет-траффику))). В таком случае, нашу энтропию могут упорядочить другие разумные существа. И чем больше рассеяние энергии будет для нас, тем больше энергии смогут собрать они.

Энтропия - это слово, которое многие слышали, но мало кто понимает. И стоит признать, что до конца осознать всю сущность этого явления действительно сложно. Однако это не должно нас пугать. Очень многое из того, что нас окружает, мы, по сути, объяснить можем лишь поверхностно. И речь не идет о восприятии или знании какого-то конкретного индивидуума. Нет. Мы говорим обо всей совокупности научных знаний, которыми располагает человечество.

Серьезные пробелы имеются не только в знаниях галактических масштабов, например, в вопросах о и червоточинах, но и в том, что окружает нас постоянно. Например, до сих пор ведутся споры о физической природе света. А кто может разложить по полочкам понятие времени? Подобных вопросов - великое множество. Но в этой статье речь пойдет именно об энтропии. Многие годы ученые бьются над понятием "энтропия". Химия и физика рука об руку идут в изучении этого Мы постараемся выяснить, что же стало известно к нашему времени.

Введение понятия в научном кругу

Впервые понятие энтропии в среду специалистов ввел выдающийся немецкий математик Рудольф Юлиус Эммануэль Клаузиус. Если говорить простым языком, ученый решил выяснить, куда девается энергия. В каком смысле? Для иллюстрации не будем обращаться к многочисленным опытам и сложным умозаключениям математика, а возьмем пример, больше знакомый нам по повседневной жизни.

Вам должно быть прекрасно известно, что когда вы заряжаете, скажем, аккумулятор мобильного телефона, количество энергии, которое аккумулируется в элементы питания, будет меньше реально полученной от сети. Происходят определенные потери. И в повседневной жизни мы к этому привыкли. Но дело в том, что подобные потери происходят и в других замкнутых системах. А для физиков-математиков это уже представляет серьезную проблему. Исследованием этого вопроса и занимался Рудольф Клаузиус.

В результате он вывел прелюбопытнейший факт. Если мы, опять-таки, уберем сложную терминологию, он сведется к тому, что энтропия - это разница между идеальным и реальным процессом.

Представьте, что вы владеете магазином. И вы получили под реализацию 100 килограмм грейпфрутов по цене 10 тугриков за килограмм. Поставив наценку в 2 тугрика на кило, вы в результате продажи получите 1200 тугриков, отдадите положенную сумму поставщику и оставите себе прибыль в размере двухсот тугриков.

Так вот, это было описание процесса идеального. И любой торговец знает, что к тому времени, как продадутся все грейпфруты, они успеют усохнуть на 15 процентов. А 20 процентов и вовсе сгниют, и их придется просто списать. А вот это уже процесс реальный.

Так вот, понятие энтропии, которое ввел в математическую среду Рудольф Клаузиус, определяется как взаимосвязь системы, в которой прирост энтропии зависит от отношения температуры системы к значению абсолютного нуля. По сути, оно показывает значение отработанной (потерянной) энергии.

Показатель меры хаоса

Еще можно с некоторой долей убежденности утверждать, что энтропия - это мера хаоса. То есть если взять в качестве модели замкнутой системы комнату обычного школьника, то не убранная на место школьная форма будет уже характеризовать некоторую энтропию. Но ее значение в этой ситуации будет небольшим. А вот если в дополнение к этому раскидать игрушки, принести с кухни попкорн (естественно, немного уронив) и оставить в беспорядке на столе все учебники, то энтропия системы (а в данном конкретном случае - этой комнаты) резко повысится.

Сложные материи

Энтропия вещества - очень сложный для описания процесс. Многие ученые на протяжении последнего столетия внесли свой вклад в изучение механизма ее работы. Причем понятие энтропии используют не только математики и физики. Она также занимает заслуженное место в химии. А некоторые умельцы с ее помощью объясняют даже психологические процессы в отношениях между людьми. Проследим разницу в формулировках трех физиков. Каждая из них раскрывает энтропию с другой стороны, а их совокупность поможет нам нарисовать для себя более целостную картину.

Утверждение Клаузиуса

Невозможен процесс перехода теплоты от тела с более низкой температурой к телу с более высокой.

Убедиться в этом постулате несложно. Вы никогда не сможете холодными руками согреть, скажем, замерзшего маленького щенка, как бы вам ни хотелось ему помочь. Поэтому придется засунуть его за пазуху, где температура выше, чем у него в данный момент.

Утверждение Томсона

Невозможен процесс, результатом которого было бы совершение работы за счет теплоты, взятой от одного какого-то тела.

А если совсем просто, то это означает, что физически невозможно сконструировать вечный двигатель. Не позволит энтропия замкнутой системы.

Утверждение Больцмана

Энтропия не может уменьшаться в замкнутых системах, то есть в тех, что не получают внешней энергетической подпитки.

Эта формулировка пошатнула веру многих приверженцев теории эволюции и заставила их всерьез задуматься о наличии у Вселенной разумного Творца. Почему?

Потому что по умолчанию в замкнутой системе энтропия всегда увеличивается. А значит, усугубляется хаос. Уменьшить ее можно лишь благодаря внешней энергетической подпитке. И этот закон мы наблюдаем каждый день. Если не ухаживать за садом, домом, машиной и т. д., то они попросту придут в негодность.

В мегамасштабах наша Вселенная - тоже замкнутая система. И ученые пришли к выводу, что само наше существование должно свидетельствовать о том, что откуда-то эта внешняя подпитка энергией происходит. Поэтому сегодня никого не удивляет то, что астрофизики верят в Бога.

Стрела времени

Еще одну весьма остроумную иллюстрацию энтропии можно представить в виде стрелы времени. То есть энтропия показывает, в какую сторону будет двигаться процесс в физическом отношении.

И действительно, вряд ли, узнав об увольнении садовника, вы будете ожидать, что территория, за которую он отвечал, станет более аккуратной и ухоженной. Как раз наоборот - если не нанять другого работника, через какое-то время даже самый красивый сад придет в запустение.

Энтропия в химии

В дисциплине "Химия" энтропия является важным показателем. В некоторых случаях ее значение влияет на протекание химических реакций.

Кто не видел кадров из художественных фильмов, в которых герои очень аккуратно переносили емкости с нитроглицерином, опасаясь спровоцировать взрыв неосторожным резким движением? Это было наглядным пособием к принципу действия энтропии в химическом веществе. Если бы ее показатель достиг критической отметки, то началась бы реакция, в результате которой происходит взрыв.

Порядок беспорядка

Чаще всего утверждают, что энтропия - это стремление к хаосу. Вообще слово «энтропия» означает превращение или поворот. Мы уже говорили, что оно характеризирует действие. Очень интересна в этом контексте энтропия газа. Давайте попробуем представить, как она происходит.

Берем замкнутую систему, состоящую из двух соединенных емкостей, в каждой из которых находится газ. Давление в емкостях, пока они не были герметично соединены между собой, было разным. Представьте, что произошло на молекулярном уровне, когда их соединили.

Толпа молекул, находившаяся под более сильным давлением, тут же устремилась к своим собратьям, жившим до того достаточно вольготно. Тем самым они увеличили там давление. Это можно сравнить с тем, как плещется вода в ванной. Набежав на одну сторону, она тут же устремляется к другой. Так же и наши молекулы. И в нашей идеально изолированной от внешнего воздействия системе они будут толкаться до тех пор, пока во всем объеме не установится безукоризненное равновесие. И вот, когда вокруг каждой молекулы будет ровно столько же пространства, сколько и у соседней, все успокоится. И это будет наивысшая энтропия в химии. Повороты и превращения прекратятся.

Стандартная энтропия

Ученые не оставляют попыток упорядочить и классифицировать даже беспорядок. Так как значение энтропии зависит от множества сопутствующих условий, было введено понятие «стандартная энтропия». Значения сведены в специальные таблицы, чтобы можно было легко проводить вычисления и решать разнообразные прикладные задачи.

По умолчанию значения стандартной энтропии рассматривают при условиях давления в одну атмосферу и температуры в 25 градусов Цельсия. При повышении температуры данный показатель также растет.

Коды и шифры

Существует еще и информационная энтропия. Она призвана помогать в шифровке кодированных посланий. В отношении информации энтропия - это значение вероятности предсказуемости информации. А если совсем простым языком, то это то, насколько легко будет взломать перехваченный шифр.

Как это работает? На первый взгляд кажется, что без хоть каких-нибудь исходных данных понять закодированное послание нельзя. Но это не совсем так. Тут в дело вступает вероятность.

Представьте себе страницу с шифрованным посланием. Вам известно, что использовался русский язык, но символы абсолютно незнакомые. С чего начать? Подумайте: какова вероятность того, что на этой странице встретится буква «ъ»? А возможность наткнуться на литеру «о»? Систему вы поняли. Высчитываются символы, которые встречаются чаще всего (и реже всего - это тоже немаловажный показатель), и сопоставляются с особенностями языка, на котором было составлено послание.

Кроме того, существуют частые, а в некоторых языках и неизменные буквосочетания. Эти знания также используются для расшифровки. Кстати, именно этот способ использовал знаменитый Шерлок Холмс в рассказе «Пляшущие человечки». Таким же образом взламывали коды в преддверии Второй мировой войны.

А информационная энтропия призвана увеличить надежность кодировки. Благодаря выведенным формулам математики могут анализировать и улучшать предлагаемые шифровщиками варианты.

Связь с темной материей

Теорий, которые пока только ждут своего подтверждения, великое множество. Одна из них связывает явление энтропии со сравнительно недавно открытой Она гласит, что утраченная энергия просто преобразуется в темную. Астрономы допускают, что в нашей Вселенной всего 4 процента приходится на известную нам материю. А остальные 96 процентов заняты неизученной на данный момент - темной.

Такое название она получила из-за того, что не взаимодействует с электромагнитным излучением и не испускает его (как все известные до этого времени объекты во Вселенной). А потому на данном этапе развития науки изучение темной материи и ее свойств не представляется возможным.

Энтропия (от др.-греч. ἐντροπία «поворот», «превращение») – широко используемый в естественных и точных науках термин. Впервые введён в рамках термодинамики как функция состояния термодинамической системы, определяющая меру необратимого рассеивания энергии. В статистической физике энтропия характеризует вероятность осуществления какого-либо макроскопического состояния. Кроме физики, термин широко употребляется в математике: теории информации и математической статистике.

В науку это понятие вошло ещё в XIX веке. Изначально оно было применимо к теории тепловых машин, но достаточно быстро появилось и в остальных областях физики, особенно, в теории излучения. Очень скоро энтропия стала применяться в космологии, биологии, в теории информации. Различные области знаний выделяют разные виды меры хаоса:

• информационная;
• термодинамическая;
• дифференциальная;
• культурная и др.

Например, для молекулярных систем существует энтропия Больцмана, определяющая меру их хаотичности и однородности. Больцман сумел установить взаимосвязь между мерой хаоса и вероятностью состояния. Для термодинамики данное понятие считается мерой необратимого рассеяния энергии. Это функция состояния термодинамической системы. В обособленной системе энтропия растёт до максимальных значений, и они в итоге становятся состоянием равновесия. Энтропия информационная подразумевает некоторую меру неопределённости или непредсказуемости.

Энтропия может интерпретироваться как мера неопределённости (неупорядоченности) некоторой системы, например, какого-либо опыта (испытания), который может иметь разные исходы, а значит, и количество информации. Таким образом, другой интерпретацией энтропии является информационная ёмкость системы. С данной интерпретацией связан тот факт, что создатель понятия энтропии в теории информации (Клод Шеннон) сначала хотел назвать эту величину информацией.

Для обратимых (равновесных) процессов выполняется следующее математическое равенство (следствие так называемого равенства Клаузиуса), где – подведенная теплота, – температура, и – состояния, и – энтропия, соответствующая этим состояниям (здесь рассматривается процесс перехода из состояния в состояние).

Для необратимых процессов выполняется неравенство, вытекающее из так называемого неравенства Клаузиуса, где – подведенная теплота, – температура, и – состояния, и – энтропия, соответствующая этим состояниям.

Поэтому энтропия адиабатически изолированной (нет подвода или отвода тепла) системы при необратимых процессах может только возрастать.

Используя понятие энтропии Клаузиус (1876) дал наиболее общую формулировку 2-го начала термодинамики: при реальных (необратимых) адиабатических процессах энтропия возрастает, достигая максимального значения в состоянии равновесия (2-ое начало термодинамики не является абсолютным, оно нарушается при флуктуациях).

Абсолютная энтропия (S) вещества или процесса – это изменение доступной энергии при теплопередаче при данной температуре (Btu/R, Дж/К). Математически энтропия равняется теплопередаче, деленной на абсолютную температуру, при которой происходит процесс. Следовательно, процессы передачи большого количества теплоты больше увеличивают энтропию. Также изменения энтропии увеличатся при передаче теплоты при низкой температуре. Так как абсолютная энтропия касается пригодности всей энергии вселенной, температуру обычно измеряют в абсолютных единицах (R, К).

Удельную энтропию (S) измеряют относительно единицы массы вещества. Температурные единицы, которые используются при вычислении разниц энтропии состояний, часто приводятся с температурными единицами в градусах по Фаренгейту или Цельсию. Так как различия в градусах между шкалами Фаренгейта и Ренкина или Цельсия и Кельвина равные, решение в таких уравнениях будет правильным независимо от того, выражена энтропия в абсолютных или обычных единицах. У энтропии такая же данная температура, как и данная энтальпия определенного вещества.

Подводим итог: энтропия увеличивается, следовательно, любыми своими действиями мы увеличиваем хаос.

Просто о сложном

Энтропия – мера беспорядка (и характеристика состояния). Визуально, чем более равномерно расположены вещи в некотором пространстве, тем больше энтропия. Если сахар лежит в стакане чая в виде кусочка, энтропия этого состояния мала, если растворился и распределился по всем объёму – велика. Беспорядок можно измерить, например, посчитав сколькими способами можно разложить предметы в заданном пространстве (энтропия тогда пропорциональна логарифму числа раскладок). Если все носки сложены предельно компактно одной стопкой на полке в шкафу, число вариантов раскладки мало и сводится только к числу перестановок носков в стопке. Если носки могут находиться в произвольном месте в комнате, то существует немыслимое число способов разложить их, и эти раскладки не повторяются в течение нашей жизни, как и формы снежинок. Энтропия состояния «носки разбросаны» – огромна.

Второй закон термодинамики гласит, что самопроизвольно в замкнутой системе энтропия не может убывать (обычно она возрастает). Под её влиянием рассеивается дым, растворяется сахар, рассыпаются со временем камни и носки. Эта тенденция объясняется просто: вещи движутся (перемещаются нами или силами природы) обычно под влиянием случайных импульсов, не имеющих общей цели. Если импульсы случайны, всё будет двигаться от порядка к беспорядку, потому что способов достижения беспорядка всегда больше. Представьте себе шахматную доску: король может выйти из угла тремя способами, все возможные для него пути ведут из угла, а прийти обратно в угол с каждой соседней клетки – только одним способом, причём этот ход будет только одним из 5 или из 8 возможных ходов. Если лишить его цели и позволить двигаться случайно, он в конце концов с равной вероятностью сможет оказаться в любом месте шахматной доски, энтропия станет выше.

В газе или жидкости роль такой разупорядочивающей силы играет тепловое движение, в вашей комнате – ваши сиюминутные желания пойти туда, сюда, поваляться, поработать, итд. Каковы эти желания – неважно, главное, что они не связаны с уборкой и не связаны друг с другом. Чтобы снизить энтропию, нужно подвергнуть систему внешнему воздействию и совершить над ней работу. Например, согласно второму закону, энтропия в комнате будет непрерывно возрастать, пока не зайдёт мама и не попросит вас слегка прибрать. Необходимость совершить работу означает также, что любая система будет сопротивляться уменьшению энтропии и наведению порядка. Во Вселенной та же история – энтропия как начала возрастать с Большого Взрыва, так и будет расти, пока не придёт Мама.

Мера хаоса во Вселенной

Для Вселенной не может быть применён классический вариант вычисления энтропии, потому что в ней активны гравитационные силы, а вещество само по себе не может образовать замкнутую систему. Фактически, для Вселенной – это мера хаоса.

Главнейшим и крупнейшим источником неупорядоченности, которая наблюдается в нашем мире, считаются всем известные массивные образования – чёрные дыры, массивные и сверхмассивные.

Попытки точно рассчитать значение меры хаоса пока нельзя назвать удачными, хотя они происходят постоянно. Но все оценки энтропии Вселенной имеют значительный разброс в полученных значениях – от одного до трёх порядков. Это объясняется не только недостатком знаний. Ощущается недостаточность сведений о влиянии на расчёты не только всех известных небесных объектов, но и тёмной энергии. Изучение её свойств и особенностей пока в зачатке, а влияние может быть определяющим. Мера хаоса Вселенной всё время изменяется. Учёные постоянно проводят определённые исследования, чтобы получить возможность определения общих закономерностей. Тогда будет можно делать достаточно верные прогнозы существования различных космических объектов.

Тепловая смерть Вселенной

У любой замкнутой термодинамической системы есть конечное состояние. Вселенная тоже не является исключением. Когда прекратится направленный обмен всех видов энергий, они переродятся в тепловую энергию. Система перейдёт в состояние тепловой смерти, если термодинамическая энтропия получит наивысшие значение. Вывод о таком конце нашего мира сформулировал Р. Клаузиус в 1865 году. Он взял за основу второй закон термодинамики. Согласно этому закону, система, которая не обменивается энергиями с другими системами, будет искать равновесное состояние. А оно вполне может иметь параметры, характерные для тепловой смерти Вселенной. Но Клаузиус не учитывал влияния гравитации. То есть, для Вселенной, в отличие от системы идеального газа, где частицы распределены в каком-то объёме равномерно, однородность частиц не может соответствовать самому большому значению энтропии. И всё-таки, до конца не ясно, энтропия - допустимая мера хаоса или смерть Вселенной?

Энтропия в нашей жизни

В пику второму началу термодинамики, по положениям которого всё должно развиваться от сложного к простому, развитие земной эволюции продвигается в обратном направлении. Эта нестыковка обусловлена термодинамикой процессов, которые носят необратимый характер. Потребление живым организмом, если его представить как открытую термодинамическую систему, происходит в меньших объёмах, нежели выбрасывается из неё.

Пищевые вещества обладают меньшей энтропией, нежели произведённые из них продукты выделения. То есть, организм жив, потому что может выбросить эту меру хаоса, которая в нём вырабатывается в силу протекания необратимых процессов. К примеру, путём испарения из организма выводится около 170 г воды, т.е. тело человека компенсирует понижение энтропии некоторыми химическими и физическими процессами.

Энтропия – это некая мера свободного состояния системы. Она тем полнее, чем меньшие ограничения эта система имеет, но при условии, что степеней свободы у неё много. Получается, что нулевое значение меры хаоса – это полная информация, а максимальное – абсолютное незнание.

Вся наша жизнь – сплошная энтропия, потому что мера хаоса иногда превышает меру здравого смысла. Возможно, не так далеко время, когда мы придём ко второму началу термодинамики, ведь иногда кажется, что развитие некоторых людей, да и целых государств, уже пошло вспять, то есть, от сложного к примитивному.

Выводы

Энтропия – обозначение функции состояния физической системы, увеличение которой осуществляется за счёт реверсивной (обратимой) подачи тепла в систему;

величина внутренней энергии, которая не может быть преобразована в механическую работу;

точное определение энтропии производится посредством математических расчётов, при помощи которых устанавливается для каждой системы соответствующий параметр состояния (термодинамическое свойство) связанной энергии. Наиболее отчётливо энтропия проявляется в термодинамических процессах, где различают процессы, обратимые и необратимые, причём в первом случае энтропия остаётся неизменной, а во втором постоянно растёт, и это увеличение осуществляется за счёт уменьшения механической энергии.

Следовательно, все то множество необратимых процессов, которые происходят в природе, сопровождается уменьшением механической энергии, что в конечном итоге должно привести к остановке, к «тепловой смерти». Но этого не может произойти, поскольку с точки зрения космологии невозможно до конца завершить эмпирическое познание всей «целостности Вселенной», на основе которого наше представление об энтропии могло бы найти обоснованное применение. Христианские теологи полагают, что, основываясь на энтропии, можно сделать вывод о конечности мира и использовать её для доказательства «существования Бога». В кибернетике слово «энтропия» используется в смысле, отличном от его прямого значения, который лишь формально можно вывести из классического понятия; оно означает: среднюю наполненность информацией; ненадёжность в отношении ценности «ожидания» информации.

• Энтропи́я (от др.-греч. ἐντροπία «поворот», «превращение») - широко используемый в естественных и точных науках термин. Впервые введён в рамках термодинамики как функция состояния термодинамической системы, определяющая меру необратимого рассеивания энергии. В статистической физике энтропия характеризует вероятность осуществления какого-либо макроскопического состояния. Кроме физики, термин широко употребляется в математике: теории информации и математической статистике.

  Энтропия может интерпретироваться как мера неопределённости (неупорядоченности) некоторой системы, например, какого-либо опыта (испытания), который может иметь разные исходы, а значит, и количество информации. Таким образом, другой интерпретацией энтропии является информационная ёмкость системы. С данной интерпретацией связан тот факт, что создатель понятия энтропии в теории информации (Клод Шеннон) сначала хотел назвать эту величину информацией.

  Понятие информационной энтропии применяется как в теории информации и математической статистике, так и в статистической физике (энтропия Гиббса и её упрощённый вариант - энтропия Больцмана). Математический смысл информационной энтропии - это логарифм числа доступных состояний системы (основание логарифма может быть различным, оно определяет единицу измерения энтропии). Такая функция от числа состояний обеспечивает свойство аддитивности энтропии для независимых систем. Причём, если состояния различаются по степени доступности (т. е. не равновероятны), под числом состояний системы нужно понимать их эффективное количество, которое определяется следующим образом. Пусть состояния системы равновероятны и имеют вероятность

  {\displaystyle p}

  Тогда число состояний

  {\displaystyle N=1/p}

  {\displaystyle \log N=\log(1/p)}

  В случае разных вероятностей состояний

  {\displaystyle p_{i}}

  Рассмотрим средневзвешенную величину

  {\displaystyle \log {\overline {N}}=\sum _{i=1}^{N}p_{i}\log(1/p_{i})}

  {\displaystyle {\overline {N}}}

  Эффективное количество состояний. Из данной интерпретации непосредственно вытекает выражение для информационной энтропии Шеннона

  {\displaystyle H=\log {\overline {N}}=-\sum _{i=1}^{N}p_{i}\log p_{i}}

  Подобная интерпретация справедлива и для энтропии Реньи, которая является одним из обобщений понятия информационная энтропия, но в этом случае иначе определяется эффективное количество состояний системы (можно показать, что энтропии Реньи соответствует эффективное количество состояний, определяемое как среднее степенное взвешенное с параметром

  {\displaystyle q\leq 1}

  Что такое энтропия? Этим словом можно охарактеризовать и объяснить почти все процессы в жизни человека (физические и химические процессы, а также социальные явления). Но не все люди понимают значение этого термина и уж тем более не все могут объяснить, что это слово значит. Теория сложна для восприятия, но если добавить в неё простые и понятные примеры из жизни, то разобраться с определением этого многогранного термина будет легче. Но обо всём по порядку.

  Вконтакте

  Энтропия: определение и история появления термина

  История появления термина

  Энтропия как определение состояния системы была введена в 1865 году немецким физиком Рудольфом Клаузиусом, чтобы описать способность теплоты превращаться в другие формы энергии, главным образом в механическую. С помощью этого понятия в термодинамике описывают состояние термодинамических систем. Приращение этой величины связано с поступлением тепла в систему и с температурой, при которой это поступление происходит.

  Определение термина из Википедии

  Этот термин долгое время использовался только в механической теории тепла (термодинамике), для которой оно вводилось. Но со временем это определение перешло в другие области и теории. Существует несколько определений термина «энтропия».

  Википедия даёт краткое определение для нескольких областей, в которых этот термин используется:«Энтропия (от др.-греч. ἐντροπία «поворот»,«превращение») - часто употребляемый в естественных и точных науках термин. В статистической физике характеризует вероятность осуществления какого-либо макроскопического состояния. Помимо физики, этот термин широко используется в математике: теории информации и математической статистике».

  Виды энтропий

  Этот термин используется в термодинамике , экономике, теории информации и даже в социологии. Что же он определяет в этих областях?

  В физической химии (термодинамике)

  Основной постулат термодинамики о равновесии: любая изолированная термодинамическая система приходит в равновесное состояние с течением времени и не может из него выйти самопроизвольно. То есть каждая система стремится в равновесное для неё состояние. И если говорить совсем простыми словами , то такое состояние характеризуется беспорядком.

  Энтропия - это мера беспорядка. Как определить беспорядок? Один из способов - приписать каждому состоянию число вариантов, которыми это состояние можно реализовать. И чем больше таких способов реализации, тем больше значение энтропии. Чем больше организованно вещество (его структура), тем ниже его неопределённость (хаотичность).

  Абсолютное значение энтропии (S абс.) равно изменению имеющейся у вещества или системы энергии во время теплопередачи при данной температуре. Его математическая величина определяется из значения теплопередачи (Q), разделённого на абсолютную температуру (T), при которой происходит процесс: S абс. = Q / T. Это означает, что при передаче большого количества теплоты показатель S абс. увеличится. Тот же эффект будет наблюдаться при теплопередаче в условиях низких температур.

  В экономике

  В экономике используется такое понятие , как коэффициент энтропии. С помощью этого коэффициента исследуют изменение концентрации рынка и её уровень. Чем выше значение коэффициента, тем выше экономическая неопределённость и, следовательно, вероятность появления монополии снижается. Коэффициент помогает косвенно оценить выгоды, приобретённые фирмой в результате возможной монопольной деятельности или при изменении концентрации рынка.

  В статистической физике или теории информации

  Информационная энтропия (неопределённость)- это мера непредсказуемости или неопределённости некоторой системы. Эта величина помогает определить степень беспорядочности проводимого эксперимента или события. Чем больше количество состояний, в которых может находиться система, тем больше значение неопределённости. Все процессы упорядочивания системы приводят к появлению информации и снижению информационной неопределённости.

  С помощью информационной непредсказуемости можно выявить такую пропускную способность канала, которая обеспечит надёжную передачу информации (в системе закодированных символов). А также можно частично предсказывать ход опыта или события, деля их на составные части и высчитывая значение неопределённости для каждой из них. Такой метод статистической физики помогает выявить вероятность события. С его помощью можно расшифровать закодированный текст , анализируя вероятность появления символов и их показатель энтропии.

  Существует такое понятие, как абсолютная энтропия языка. Эта величина выражает максимальное количество информации, которое можно передать в единице этого языка. За единицу в этом случае принимают символ алфавита языка (бит).

  В социологии

  Здесь энтропия (информационная неопределённость) является характеристикой отклонения социума (системы) или его звеньев от принятого (эталонного) состояния, а проявляется это в снижении эффективности развития и функционирования системы, ухудшении самоорганизации. Простой пример: сотрудники фирмы так сильно загружены работой (выполнением большого количества отчётов), что не успевают заниматься своей основной деятельностью (выполнением проверок). В этом примере мерой нецелесообразного использования руководством рабочих ресурсов будет являться информационная неопределённость.

  Энтропия: тезисно и на примерах

  • Чем больше способов реализации, тем больше информационная неопределённость.

  Пример 1 . Программа Т9. Если в слове будет небольшое количество опечаток, то программа легко распознает слово и предложит его замену. Чем больше опечаток, тем меньше информации о вводимом слове будет у программы. Следовательно, увеличение беспорядка приведёт к увеличению информационной неопределённости и наоборот, чем больше информации, тем меньше неопределённость.

  Пример 2. Игральные кости. Выкинуть комбинацию 12 или 2 можно только одним способом: 1 плюс 1 или 6 плюс 6. А максимальным числом способов реализуется число 7 (имеет 6 возможных комбинаций). Непредсказуемость реализации числа семь самая большая в этом случае.

  • В общем смысле энтропию (S) можно понимать как меру распределения энергии. При низком значении S энергия сконцентрирована, а при высоком - распределена хаотично.

  Пример. Н2О (всем известная вода) в своём жидком агрегатном состоянии будет обладать большей энтропией, чем в твёрдом (лёд). Потому что в кристаллическом твёрдом теле каждый атом занимает определённое положение в кристаллической решётке (порядок), а в жидком состоянии у атомов определённых закреплённых положений нет (беспорядок). То есть тело с более жёсткой упорядоченностью атомов имеет более низкое значение энтропии (S). Белый алмаз без примесей обладает самым низким значением S по сравнению с другими кристаллами.

  • Связь между информацией и неопределённостью.

  Пример 1. Молекула находится в сосуде , который имеет левую и правую часть. Если неизвестно, в какой части сосуда находится молекула, то энтропия (S) будет определяться по формуле S = S max = k * lgW, где k -число способов реализации, W- количество частей сосуда. Информация в этом случае будет равна нулю I = I min =0. Если же точно известно, в какой части сосуда находится молекула, то S = S min =k*ln1=0, а I = I max= log 2 W. Следовательно, чем больше информации, тем ниже значение информационной неопределённости.

  Пример 2. Чем выше порядок на рабочем столе, тем больше информации можно узнать о вещах, которые на нём находятся. В этом случае упорядоченность предметов снижает энтропию системы «рабочий стол».

  Пример 3. Информация о классе больше на уроке, чем на перемене. Энтропия на уроке ниже, так как ученики сидят упорядочено (больше информации о местоположении каждого ученика). А на перемене расположение учеников меняется хаотично, что повышает их энтропию.

  • Химические реакции и изменение энтропии.

  Пример. При реакции щелочного металла с водой выделяется водород. Водород-это газ. Так как молекулы газа движутся хаотично и имеют высокую энтропию, то рассматриваемая реакция происходит с увеличением её значения. То есть энтропия химической системы станет выше .

  В заключение

  Если объединить всё вышесказанное , то получится, что энтропия является мерой беспорядка или неопределённости системы и её частей. Интересен тот факт, что всё в природе стремится к максимуму энтропии, а человек - к максимуму информации. И все рассмотренные выше теории направлены на установление баланса между стремлением человека и естественными природными процессами.