Якщо б ви аксіоматизували поняття ентропії .....

Які аксіоми повинні задовольняти гарне поняття ентропії? Зауважте, що я не просять визначення різних типів ентропії, таких як топологічна ентропія або ентропія теорії міри або інше. є, якщо $ X $ - "простір", в широкому сенсі (топологічний, міральний, алгебраїчний тощо) і $ varphi: X праворуч X $ є самосвідомістю, і якщо ми хочемо визначити хороше Поняття ентропії для вимірювання складності $ varphi $, які аксіоми повинні задовольняти це поняття?

EDIT: Можливо, більш розумне питання: для системи, заданої ітерацією функції, що має бути хорошим поняттям ентропії (без будь-якого або мінімального посилання на тип простору)?

24
Перегляньте розділ "Характеристика" тут, Mahdi: en.wikipedia.org/wiki/Entropy_ ( інформація_теорії)
додано Автор vettipayyan, джерело
@Mahdi: Зрозуміло. Я просто трохи висвітлю коментар Сувріта, оскільки ми бачили це питання. Це не відповідало на ваше запитання, а лише пропонувало можливу відправну точку ...
додано Автор vettipayyan, джерело
@Mahdi: До речі, мені подобається це питання.
додано Автор vettipayyan, джерело
вибачте моє незнання, але чи не довго такі питання розглядалися в теорії інформації?
додано Автор Lord Loh., джерело
як про "складність Колмогорова"? можливо, ідеї, що стоять за нею, є необхідною основою для аксіоматизації, яку ви шукаєте?
додано Автор Lord Loh., джерело
@Survit: Я не знаю. Якщо ви знаєте будь-які посилання, будь ласка, напишіть.
додано Автор Mahdi Majidi-Zolbanin, джерело
@Jon: Здається, що ці аксіоми мають сенс у контексті ймовірності простору, і вони вимірюють "невизначеність, пов'язану з випадковою змінною", і не має сенсу, якщо $ X $ просто топологічний простір. Проте ентропія може бути визначена в топологічній динамічній системі (див. a>). Мені було цікаво, чи можна охарактеризувати поняття ентропії з мінімальним посиланням на тип займаного простору?
додано Автор Mahdi Majidi-Zolbanin, джерело

7 Відповіді

Це не є повною аксіоматизацією, частково тому, що це трохи розпливчасте, а частково тому, що я знаю лише поняття ентропії у двох контекстах: топологічному просторі та мірі. Проте в обох випадках існує спільність процедури.

  1. Починати з пробілу $ X $ і мапи $ f колонкою X до X $.
  2. Збільшити простір у певному масштабі, щоб відрізки орбіт, які знаходяться дуже близько один до одного, не розрізняються.
  3. Підрахуйте, скільки взаємно розрізняються відрізків орбіт довжиною $ n $, що потрібно, щоб бути "значним"; назвіть цей номер $ a_n $.
  4. Знайти швидкість росту $ lim_ (n): frac 1n log a_n $; це ентропія на обраному вами масштабному масштабі.
  5. Нехай груба шкала стає тонше і тонше і приймає межу для отримання ентропії.

Залежно від того, як ви зробите цю процедуру чіткою, ви отримуєте різні поняття. Наприклад, якщо $ X $ є топологічним простором, "певна шкала" означає "код відкритою кришкою", а "значне" означає "охоплює X", то ви отримуєте топологічну ентропію. З іншого боку, якщо $ X $ є простором вимірювання, "певна шкала" означає "код за допомогою розділу", а "значне" означає "охоплює набір рівномірно позитивної міри", то ви отримуєте теоретико-мірну ентропію.

Мені було б цікаво знати, чи існують інші поняття ентропії для інших видів просторів, які мають аналогічні визначення. Або для цього, якщо є інші поняття, які не мають аналогічні визначення.

19
додано
Я майже по електронній пошті вам про це питання, але потім вирішив довіряти, що ви знайдете його на свій розсуд. :)
додано Автор jt., джерело
@Vaughn: Існують також різні поняття алгебраїчної ентропії, які визначені для ендоморфізмів алгебраїчних структур, таких як групи або проективні різновиди. Деякі з цих понять, схоже, не були визначені відповідно до вищенаведених аксіом. Для раціональних самостійних карт проективних різновидів, наприклад, ентропія визначається з використанням її ступеня (див. springerlink.com/content/nak975w6tk8lfjnl ) і здається, що ступінь грає роль послідовності $ a_n $.
додано Автор Mahdi Majidi-Zolbanin, джерело

In addition to the wikipedia page, you can take a look at this fairly recent paper "A Characterization of Entropy in Terms of Information Loss" by John C. Baez, Tobias Fritz, Tom Leinster http://arxiv.org/abs/1106.1791

9
додано
@Anthony: Це цікаво, але все ще має сенс тільки в контексті ймовірності простору. Будь ласка, дивіться мій коментар до Джона.
додано Автор Mahdi Majidi-Zolbanin, джерело

Топологічні та теоретико-теоретичні ентропії $ (X, varphi) $ формалізують середню ентропію на ітерацію часткових спостережень ($ equiv $ грубозернистої, що згадується вище Вон). (Я не знайомий з іншими поняттями ентропії для динамічних систем.) В будь-якому випадку, першому потрібен елементарне поняття ентропії для класу дозволених спостережень, що не залежить від $ varphi $.

У Chris Hillman є (на жаль) неопубліковані нотатки , в яких він дає елегантну аксіоматизацію ентропії, яка охоплює багато інших прикладів, таких як розмірність Хаусдорфа або те, що він називає ентропією Галуа.

4
додано
Частина II, описана у вступі, виглядає дуже цікаво! Чи знаєте ви, чи є вона доступною?
додано Автор Pacerier, джерело

This paper of Gromov seems to aim to answer exactly your question: to provide a category theoretic axiomatization of entropy that is as general as possible. He defines entropy as a functor from the category of things you actually observe, to the category of sets. His formalism probably applies to your case if you define your 'state detectors' P (on page 2) in an appropriate manner...

4
додано
@Mahdi: майте на увазі, що папір періодично оновлюється, тому вам потрібно перевірити ihes.fr/~gromov/topics/recent.html , щоб знайти останню версію (10 липня на даний момент) ... також, в самому кінці itmentions результат Esnault-Viehweg ("Таке" ранжування) нерівності »нагадують нерівності для просторів ділянок і (загалом, когомологій) позитивних векторних розшарувань, наприклад, як у теоремі Хованського-Тейсера і в доказі Есно-Вєгвега про загострену лейму Дайсона-Рота, але прямий зв'язок , яка буде знайдена "), яка близька до ваших інтересів.
додано Автор David Holm, джерело
Шановний о: Дякуємо, що поділилися цим документом. Я не бачив цю статтю, я буду дивитися на неї.
додано Автор Mahdi Majidi-Zolbanin, джерело

З більш фізичної точки зору, є робота Ліба та Інгвасона:

http://arxiv.org/abs/math-ph/0204007

4
додано

Хочу лише згадати рамки, в яких ми (Дікран Дікранян, Анна Джордано Бруно та я) переглянемо багато понять ентропії.

Ідея проф. Дікранян повинен був визначити категорію нормованих напівгруп. Дійсно, нормована напівгрупа просто напівгрупа $ S $ з нормою $$ v: S mathbb R _ {geq 0} $$ таке, що $ v (xy) leq v (x) + v (y) $. Морфізми в категорії - це лише гомоморфізми напівгрупи, так що норма зображення дорівнює $ lq $, ніж норма вихідної точки.

У цій категорії можна визначити поняття ентропії ендоморфізму $ phi: (S, v) o (S, v) $. Насправді береться $$ h (phi) = sup ліворуч (lim_ {n з інтенсивним) frac {v (x phi (x) точками fi ^ {n-1} (x))} {n }: x в S право) Цікаво помітити, що вже на цьому рівні вищевказана функція ентропії задовольняє деяким хорошим властивостям. Крім того, виявляється, що багато звичних понять ентропії (топологічна, алгебраїчна, теорія мезури, ентропія, ...) для ендоморфізмів або автоморфізмів можна визначити за допомогою відповідного функтора з категорії, в якій вони визначені, до категорії нормовані напівгрупи (напівгрупа може бути множиною підмножини з перетином (або сумою в групах), безліч відкритих оболонок з перетином, ... норма може бути $ log $ потужності, мірою, мінімальною потужністю підпокриття ...).

Дозвольте мені зробити висновок, що якщо ви шукаєте списки аксіом для ентропійних функцій, вам слід звернутися до наступних статей:

Л. Н. Стоянов, Унікальність топологічної ентропії для ендоморфізмів на компактних групах, Бол. Un. Матем. Ital. B 7 (1987) немає. 3, 829–847. (аксіоматичний характер топологічної ентропії на компактних групах)

Д. Дикраньян і А. Джордано Бруно, Ентропія на абелевих групах, препринт; arXiv: 1007.0533. (аксіоматичний символ алгебраїчної ентропії на дискретних групах)

Л. Сальс, П. Вамос, С. Вірілі, Функції довжини, кратність і алгебраїчна ентропія, Форум математики. (2011) (аксіоматичний символ поняття алгебраїчної ентропії на модулях)

Вищевказані характеристики обговорюються в наступному опитуванні,

Д. Дикраньян, М. Санчіс, С. Вірілі, Нові і старі факти про ентропії в єдиних просторах і топологічних групах, топологія апл. (2012) 1916-1942

3
додано

Наскільки я міг перевірити, жодної прямої відповіді на початкове питання поки не дано.

Дозвольте згадати, що проблема була вирішена повністю для безперервних карт компактного інтервалу ще в 2003 році: Alsedá, Kolyada, Llibre і Snoha представили два різних набору аксіом, які характеризують повністю топологічну ентропію ( Аксиоматичне визначення топологічної ентропії на інтервалі, Aequationes Math. 65 (2003), 113 –132 ).

Аксіоми включають в себе важливе властивість нижньої напівбезперервності, а потім або 5 або 6 додаткових аксіом, які, з жалем, говорять про специфічні властивості, які були б складними для розгляду в картах вищого розміру. Але це, безумовно, є можливим відправною точкою для вищих вимірів.

1
додано