Entropija ir sudėtingumas

Visi mes siekiame pažinti mus supantį pasaulį. Ką jau atradome ir kas dar liko atrasti? Visos su pasaulio pažinimu susijusios temos - čia.
User avatar
Vilius
administratorius
Posts: 4008
Joined: 2004-04-19 12:28
Location: Bruxelles

2018-05-16 11:26

Sejanus wrote:
2018-05-16 10:43
Ką reiškia sudėtingi šiame kontekste? Ar yra kažkoks būdas palyginti (=išmatuoti ir išreikšti skaičiais) dviejų reiškinių sudėtingumą?
Taip, yra. Sudėtingesnis yra tas reiškinys, kurį yra sunkiau aprašyti.

Pvz., atomai metale - paprasta sistema, nes jos elementai beveik nieko nedaro. Gal kartais įvyksta kažkurio atomo branduolio skilimas, ar prateka elektros srovė, tačiau šiuos reiškinius irgi galima aprašyti gana paprastais dėsniais.

Truputį keblesnis pavyzdys yra kambarys pilnas oro. Iš pirmo žvilgsnio gali pasirodyti, kad dėl dujų molekulių judėjimo chaotiškumo, tokią sistemą yra labai sunku (gal net - neįmanoma) tiksliai aprašyti. Tačiau iš tiesų, tą chaotišką elgesį irgi galima gana tiksliai aprašyti statistiniais dėsniais (termodinamika & co).

Tikrai sudėtingas reiškinys yra toks, kurį yra sunku aprašyti tiek analitiniais, tiek statistiniais (tiek bet kokiais kitais) būdais.
User avatar
Sejanus
senbuvis
Posts: 1615
Joined: 2008-11-16 14:41

2018-05-16 11:36

O ką reiškia, sunkiau aprašyti? Reikalauja ilgesnių lygčių?

O jei galima aprašyti keliais skirtingais būdais, iš kurių vienas toks sudėtingas, kad beveik neįmanoma, o kitas – statistinis, tai koks sudėtingumas? Pvz., monetos metimas. Ar įmanoma sukurtį lygtį, nuskančią rezultatą atsižvelgiant į visus įmanomus poveikius monetai, nuo pradinės padėties, sprigto stiprumo ir vietos monetoje, monetos svorio, dydžio, oro judėjimo, ir t.t.? Manau monetos metimas yra ypatingai sudėtingas reiškinys. Kita vertus, statistiškai labai paprastas, ~50/50
User avatar
Vilius
administratorius
Posts: 4008
Joined: 2004-04-19 12:28
Location: Bruxelles

2018-05-16 12:02

Sejanus wrote:
2018-05-16 11:36
O ką reiškia, sunkiau aprašyti? Reikalauja ilgesnių lygčių?
Grynai formaliai kalbant - reikalauja daugiau bitų informacijos. Aišku, praktikoje gali būti sunku tiksliai apskaičiuoti daugumos reiškinių sudėtingumą. Tačiau aš čia kalbu labiau apie teorinę idėją, o ne praktiką.

Šiaip jau net formulę buvau sufantazavęs:
sudetingumo-formule.png
Sudėtingumas (K) yra lygus skirtumo tarp sistemos entropijos (S) ir entropijos asimptotės (lim S) integralui laike (t). Ten yra visokių niuansų, ir ta formulė nelabai atitinka net ir mano labai kuklius eksperimentinius skaičiavimus.. Bet čia geriausia, ką turiu šiuo metu :)
Sejanus wrote:
2018-05-16 11:36
O jei galima aprašyti keliais skirtingais būdais, iš kurių vienas toks sudėtingas, kad beveik neįmanoma, o kitas – statistinis, tai koks sudėtingumas?
Suprantama, reikia rinktis paprasčiausią būdą aprašyti sistemą. Jei paprastesnis būdas statistinis - tai jį ir reikia naudoti.
Sejanus wrote:
2018-05-16 11:36
Pvz., monetos metimas. Ar įmanoma sukurtį lygtį, nuskančią rezultatą atsižvelgiant į visus įmanomus poveikius monetai, nuo pradinės padėties, sprigto stiprumo ir vietos monetoje, monetos svorio, dydžio, oro judėjimo, ir t.t.? Manau monetos metimas yra ypatingai sudėtingas reiškinys. Kita vertus, statistiškai labai paprastas, ~50/50
Nu tai aš ir sakau, kad tokia sistema yra paprasta, nes ją galima labai tiksliai aprašyti statistiniu būdu. Pvz., jei mėtysi monetą labai ilgai, vidutinis herbo atsivertimų kiekis vis labiau priartės prie 0.5 metimų kiekio.
Kaip kontrastą įsivaizduok akcijų biržą, kur akcijos kaina visą laiką juda priklausomai nuo rinkos užgaidų. Šiuo atveju, akcijos kaina neartėja prie jokio vidurkio, ir bendrai paėmus tu iš viso nelabai ką prasmingo galėsi pasakyti apie tos kainos kitimą tiek analitiniu, tiek statistiniu metodu. Therefore, galime daryti išvadą, kad finansų rinka yra žymiai sudėtingesnė sistema už monetos mėtymą.
User avatar
Vilius
administratorius
Posts: 4008
Joined: 2004-04-19 12:28
Location: Bruxelles

2018-06-07 03:04

O ką, jei visata bando maksimizuoti ne entropiją (as in antras termodinamikos dėsnis), o sudėtingumą? T.y. ji ne tiek stengiasi tolygiai paskirstyti energiją, kiek padaryti, kad jos pačios aprašymas būtų maksimaliai ilgas. Ir ne, tai nėra tas pats dalykas.

Pvz., kambarys pilnas tolygiai paskirstytų dujų turi maksimalią entropiją. Tačiau jo aprašymas nebūtinai yra maksimalus. Pvz., apie tą kambarį galima pasakyti, kad jo kairėje ir dešinėje pusėse yra maždaug vienodas kiekis molekulių. Tuo tarpu, gali būti begalė kambario būsenų, apie kurias net ir tokio fakto nebus galima pasakyti. Ir tos kitos būsenos bus sunkiau aprašomos, nei visiškai tolygi būsena, nes apie jas mes nežinosime net ir to vieno fakto.

Tai va, man kartais atrodo, kad visata ir stengiasi rasti vieną iš tų būsenų, kuri turi maksimaliai ilgą aprašymą (bet nebūtinai - maksimalią entropiją).


#kainesimiega
Lionginas
senbuvis
Posts: 2142
Joined: 2011-10-03 09:35

2018-06-07 08:37

Vilius wrote:Pvz., kambarys pilnas tolygiai paskirstytų dujų turi maksimalią entropiją. Tačiau jo aprašymas nebūtinai yra maksimalus. Pvz., apie tą kambarį galima pasakyti, kad jo kairėje ir dešinėje pusėse yra maždaug vienodas kiekis molekulių. Tuo tarpu, gali būti begalė kambario būsenų, apie kurias net ir tokio fakto nebus galima pasakyti. Ir tos kitos būsenos bus sunkiau aprašomos, nei visiškai tolygi būsena, nes apie jas mes nežinosime net ir to vieno fakto.
Tolygaus pasiskirstymo atveju reikėtų aprašyti kiekvienos dalelės poziciją ir momentą. Bet kokia kita šios sitemos būsena galės būti aprašoma arba tiek pat, arba trumpiau. Kaip pavyzdys - fraktalai. Triukšmą ekrane galima aprašyti tik vienu būdu - užfiksavus kiekvieno pikselio reikšmę. Fraktalo vaizdą taip pat galima aprašyti užfiksuojant kiekvieno pikselio reikšmę, daugiau tikrai nereikia. Tačiau fraktalą galima aprašyti ir trumpiau.

Aišku, aš nežinau, ką tu turi omeny sakydamas "sunkiau aprašomas". Jei tai aprašymo ilgis, tuomet maksimalus aprašymas visuomet bus su maksimalia entropija, nes tuomet sistemoje tiesiog nebus struktūrų, kurios galėtų būti aprašomos trumpiau.

Na, o jei "sunkiau aprašomas" reiškia, kad tiesiog sistemoje labai daug visokių sudėtingų struktūrų ir reikia daug laiko ir pastangų jas ištyrinėti, tai čia nelabai ką turi bendro su aprašymo ilgiu.
User avatar
Vilius
administratorius
Posts: 4008
Joined: 2004-04-19 12:28
Location: Bruxelles

2018-06-07 10:35

Lionginas wrote:
2018-06-07 08:37
Tolygaus pasiskirstymo atveju reikėtų aprašyti kiekvienos dalelės poziciją ir momentą.
Man keista, kodėl šioje vietoje visi ignoruoja akivaizdų faktą, kad tikslus padėčių aprašymas nėra vienintelis būdas aprašyti sistemas. Kitas būdas yra statistinis/tikimybinis. Ir šis būdas nėra niekuo prastesnis lyginant su tiksliais aprašymais - gi iš esmės ištisa kvantinė teorija (net nekalbant apie termodinamiką) yra būtent toks bandymas tikimybiškai aprašyti visatą.

Gi jau daviau oro dalelių pavyzdį. Jei tos molekulės tikrai būtų visiškai tolygiai pasiskirsčiusios, tai žinodamas molekulių kiekį viename tūrio vienete, tu (apytiksliai) žinotum jį ir visuose kituose makroskopiniuose tūrio vienetuose. Ir tai yra daug informacijos - kuri tau leistų daryti teisingas prognozes apie tą sistemą. Ir, jei jau tau pavyko iškrapštyti šitiek informacijos, tai reiškia, kad sistema tikrai nebuvo maksimaliai sunkiai aprašoma.

Vat jei tu paleistum kelias muses į tą kambarį (kurios beje padarytos iš tų pačių subatominių dalelių, kaip ir oras) - va tada kambarys staiga taptų sunkiai aprašomas ir pagal tikslų metodą (nes oro/musių dalelių padėtys vis dar būtų gana sunkiai aprašomos), ir pagal tikimybinį metodą - kas ten žino, ar tos kelios musės tikrai bus tolygiai pasiskirsčiusios po visą kambarį.
Lionginas wrote:
2018-06-07 08:37
Triukšmą ekrane galima aprašyti tik vienu būdu - užfiksavus kiekvieno pikselio reikšmę.
Tai va, kad - ne. Triukšmą ekrane dar galima aprašyti statistiškai - užfiksuojant kiekvienos spalvos tikimybę kiekviename pikselyje.
Lionginas
senbuvis
Posts: 2142
Joined: 2011-10-03 09:35

2018-06-07 11:54

Tai tu čia kalbi apie aproksimacijas. Triukšmo matematinis modelis irgi yra viso labo aproksimacija, nes iš to modelio tu negali tiksliai apskaičiuoti kiekvienos dalelės pozicijos. Tuo tarpu iš fraktalo modelio gali, nes pastarasis nėra aproksimacija.

Aš aproksimacijų naudos čia žinoma neneigsiu, jos yra labai naudingos, bet su entropija deja nelabai kaip siejasi. Bet kokį modelį sugalvoja žmogus, ir tas modelis gali būti skirtingų detalumo lygių. Tą patį kambarį su ir be musės galima iš principo aprašyti vienodai, jei mūsų parinktas modelis tokias smulkmes kaip musė ignoruos. O jei parinksime itin detalų modelį ir overfittinsime į iki ekstremumo, tai paprastas triukšmas atrodys kaip itin sudėtinga sistema.
User avatar
vvv2
skeptikas
Posts: 650
Joined: 2007-08-02 11:24

2018-06-08 18:31

Lionginas wrote:
2018-06-07 11:54
Aš aproksimacijų naudos čia žinoma neneigsiu, jos yra labai naudingos, bet su entropija deja nelabai kaip siejasi.
- "entropija" yra visiška fikcija, paremta baigtinio proto santykiu su begaline realija.

p.s.
.. paskaičiau "iš šono" ir supratau, kad vėl niekas nieko nesupras.. Daugelis gal nežino, kas iš viso yra "entropija"? Populiarus paaiškinimas: entropija išreiškia netvarkos lygį sistemoje. Tačiau ar visi žino kas yra "tvarka"? Vėl populiariai: tvarka yra tada, kai visi sistemos elementai atitinka dėsnį. O koks dėsnis turėtų būti? Štai čia ir įdomumas: jei sistema yra labai tvarkinga, bet tvarkinga pagal mūsų mažam baigtiniui protui nežinomą dėsnį? Dabar tikiuisi suprato tie, kurie turėjo rįžto tiek skaityti, jei dar turite rįžto likutį, paskaitykite ir apie "informacinę entropiją".


:)
Last edited by vvv2 on 2018-06-09 13:57, edited 1 time in total.
User avatar
Vilius
administratorius
Posts: 4008
Joined: 2004-04-19 12:28
Location: Bruxelles

2018-06-09 02:46

Lionginas wrote:
2018-06-07 11:54
Tai tu čia kalbi apie aproksimacijas. Triukšmo matematinis modelis irgi yra viso labo aproksimacija, nes iš to modelio tu negali tiksliai apskaičiuoti kiekvienos dalelės pozicijos.
Ne, bet pagal tą modelį galima sužinoti daug kitų naudingų dalykų. Pvz., žinant statistinį pasiskirstymą, galima atskirti būsenas, kurios negali būti identiškos kažkokiai žinomai etaloninei būsenai. Nes, jei nesutampa net aproksimuoti aprašymai, tai ir tikslūs aprašymai tikrai nesutaps. Ir dėl to, tu jau turi šiokią tokią perteklinę informaciją apie sistemą.

Kitas kraštutinumas būtų visiškai sutvarkyta sistema (tarkim, atomai kristalo gardelėje). Čia irgi bus daug perteklinės informacijos, tik ją lengviau bus aprašyti tiksliai, nei statistiškai. Paprasčiausias pavyzdys yra besikartojantis patternas. Fraktalui aprašyti turbūt prireiks nesudėtingo algoritmo, tačiau jis vis tiek bus gana trumpas.

Tai va, kažkur giliai giliai tos sistemos būsenų erdvėje, turi būti bent viena būsena, kuri turės minimalų kiekį perteklinės informacijos. Idealiu atveju - pati sistema ir bus trumpiausias jos aprašymas, kurio nebeįmanoma toliau sutrumpinti, nei pasitelkiant tikslius, nei statistinius aprašymus.

Ir mano bold statementas čia yra, kad visata lėtai bet užtikrintai bando surasti tokią būseną.
Lionginas wrote:
2018-06-07 11:54
Aš aproksimacijų naudos čia žinoma neneigsiu, jos yra labai naudingos, bet su entropija deja nelabai kaip siejasi.
Aš jų kol kas ir nebandau sieti su entropija. Tiesiog sakau, kad tai yra vienas iš būdų aprašyti sistemas.
Lionginas wrote:
2018-06-07 11:54
Tą patį kambarį su ir be musės galima iš principo aprašyti vienodai, jei mūsų parinktas modelis tokias smulkmes kaip musė ignoruos. O jei parinksime itin detalų modelį ir overfittinsime į iki ekstremumo, tai paprastas triukšmas atrodys kaip itin sudėtinga sistema.
Pirmu atveju - kuo daugiau detalių praleisti, tuo mažiau naudingos informacijos išgausi iš sistemos. Ir todėl toks aprašymas bus vis mažiau naudingas.
Kitu atveju - kuo labiau overfittinsi, tuo didesnis bus paties modelio aprašymas (kuris čia irgi yra svarbus!) - ir dėl to, naudingos informacijos kiekis bus vis mažesnis.
Post Reply