Entropija ir sudėtingumas

Naujas temas kurkite čia
User avatar
Vilius
administratorius
Posts: 3821
Joined: 2004-04-19 12:28
Location: Bruxelles

2015-07-15 17:16

Ok. Kol kas palikim formuluotes nuošalėje, ir pabandykim padaryti leap of faith - prielaidą, kad mano hipotezė yra teisinga. T.y., kad iš tiesų sistemose su pilnomis taisyklių erdvėmis turi rastis sudėtingos sąveikos tarp sistemos elementų.

Dabar pakalbėkim apie svieto sutvėrimą. O taip, apie Didįjį sprogimą.

(Čia truputį palauksiu, kol nustosit face-palminti... ... ... ... Sakykim, kad jau.)

Niekas nežino, nuo ko tiksliai prasidėjo mūsų visata, bet dauguma sutaria, kad pirmosiomis akimirkomis ji buvo labai tanki (energijos tankio prasme), labai karšta, ir svarbiausia - labai homogeniška. T.y. kiekviename taške ji buvo beveik vienoda, ir tokia pradėjo plėstis. Tas netruko labai ilgai (apie 10E−37s), visgi šiame etape visatos elgesys buvo labai nuspėjamas. Žinant jos būseną vienu momentu, buvo galima labai tiksliai numatyti jos būseną sekančiu momentu: the same shit, just larger. Kas beveik idealiai atitinka mano (atnaujintą) trivialios taisyklės apibrėžimą.

Visgi mes žinome (pvz., iš foninės spinduliuotės netolygumų), kad visata gana greitai nustojo būti homogeniška, ką greičiausiai sukėlė kvantinės fliuktuacijos. Kadangi jos iš principo yra neprognozuojamos, mes turime turbūt chaotiškiausią taisyklę, kokia tik gali būti mūsų visatoje.

Kadangi fliuktuacijų amplitudės gali skirtis, mes patenkiname ir "daug taisyklių in between" kriterijų. T.y. vienuose taškuose visata turėjo būti beveik homogeniška, o kituose taškuose beveik visai chaotiška, o dar kituose taškuose - kažkur per vidurį (sorry, čia beveik nežinau, apie ką kalbu. Jei ką - pataisykit).

Telieka padaryti gana saugią prielaidą, kad visata ne visa iš karto nustojo būti homogeniška, ir gauname, kad kažkuriuo infliacijos periodo momentu visata buvo sistema su beveik idealiai pilna taisyklių erdve. Jei tikėti mano hipoteze, dėl to neišvengiamai turėjo rastis sudėtingos sąveikos. Pavadinkime jas tiesiog elementariosiomis dalelėmis.

Visgi tuo metu visata vis dar buvo labai karšta ir tanki, dėl ko dalelės nuolat daužėsi vienos į kitas, tai susikurdamos, tai susinaikindamos. Sakykime, kad tai yra chaotiška dalelių sąveikos taisyklė. Tačiau visatai toliau plečiantis atsirado pakankamai vietos, kad kai kurios dalelės galėtų tiesiog ramiai egzistuoti nesąveikaudamos - triviali dalelių taisyklė. Na, o kitos dalelės kažkiek daužėsi, bet mažiau chaotiškai, nei pirmosios. Kas vėl yra gana pilna taisyklių erdvė, bet jau ne pradinio visatos stufo, o dalelių lygyje. Jei taip, čia vėl turi gautis kažkas sudėtingo. Pavadinkim tuos daiktus atomais.

O visa kita yra kaip ir istorija: iš atomų sąveikos radosi molekulės, iš jų sąveikos - didesnė molekulės, iš kurių gyvybė, iš kurios sudėtingesnė gyvybė, tada socialiniai dariniai, ir taip iki pat Jungtinių Tautų Organizacijos :)

***

Paklausite, kodėl tokiu atveju visata neužsipildė be galo sudėtingais dariniais? Nuostabus klausimas. Atsakymas yra entropijos didėjimas. Kadangi visata turi bjaurų polinkį viską ardyti, ilgai išlikti gali tik dalykai, kurie arba yra labai stabilūs, arba spėja sudėtingėti greičiau, nei entropija juos ardo. Čia kaip natūrali atranka, tik ji prasidėjo ne tada, kai čia pas mus kažkas pradėjo ropoti ir šliaužioti, o gerokai anksčiau - greičiausiai per patį Didįjį sprogimą.

***

Kaip manote, ar šie mano pasvaičiojimai atsako į klausimą, kurį iškėliau temos pradžioje - kodėl visatoje, kuri turi polinkį į entropijos didėjimą, lokaliai didėja sudėtingumas?
User avatar
Vilius
administratorius
Posts: 3821
Joined: 2004-04-19 12:28
Location: Bruxelles

2015-07-24 22:41

Gerai, gerai.. Eisiu pažaist teorijas kur nors kitur :ax:

Visgi pabaigai iliustracija.
320348758_DBfqW-L-1.jpg
User avatar
Sejanus
senbuvis
Posts: 1466
Joined: 2008-11-16 14:41

2018-05-16 10:43

Ką manot?
Ką reiškia sudėtingi šiame kontekste? Ar yra kažkoks būdas palyginti (=išmatuoti ir išreikšti skaičiais) dviejų reiškinių sudėtingumą?
User avatar
Vilius
administratorius
Posts: 3821
Joined: 2004-04-19 12:28
Location: Bruxelles

2018-05-16 11:26

Sejanus wrote:
2018-05-16 10:43
Ką reiškia sudėtingi šiame kontekste? Ar yra kažkoks būdas palyginti (=išmatuoti ir išreikšti skaičiais) dviejų reiškinių sudėtingumą?
Taip, yra. Sudėtingesnis yra tas reiškinys, kurį yra sunkiau aprašyti.

Pvz., atomai metale - paprasta sistema, nes jos elementai beveik nieko nedaro. Gal kartais įvyksta kažkurio atomo branduolio skilimas, ar prateka elektros srovė, tačiau šiuos reiškinius irgi galima aprašyti gana paprastais dėsniais.

Truputį keblesnis pavyzdys yra kambarys pilnas oro. Iš pirmo žvilgsnio gali pasirodyti, kad dėl dujų molekulių judėjimo chaotiškumo, tokią sistemą yra labai sunku (gal net - neįmanoma) tiksliai aprašyti. Tačiau iš tiesų, tą chaotišką elgesį irgi galima gana tiksliai aprašyti statistiniais dėsniais (termodinamika & co).

Tikrai sudėtingas reiškinys yra toks, kurį yra sunku aprašyti tiek analitiniais, tiek statistiniais (tiek bet kokiais kitais) būdais.
User avatar
Sejanus
senbuvis
Posts: 1466
Joined: 2008-11-16 14:41

2018-05-16 11:36

O ką reiškia, sunkiau aprašyti? Reikalauja ilgesnių lygčių?

O jei galima aprašyti keliais skirtingais būdais, iš kurių vienas toks sudėtingas, kad beveik neįmanoma, o kitas – statistinis, tai koks sudėtingumas? Pvz., monetos metimas. Ar įmanoma sukurtį lygtį, nuskančią rezultatą atsižvelgiant į visus įmanomus poveikius monetai, nuo pradinės padėties, sprigto stiprumo ir vietos monetoje, monetos svorio, dydžio, oro judėjimo, ir t.t.? Manau monetos metimas yra ypatingai sudėtingas reiškinys. Kita vertus, statistiškai labai paprastas, ~50/50
User avatar
Vilius
administratorius
Posts: 3821
Joined: 2004-04-19 12:28
Location: Bruxelles

2018-05-16 12:02

Sejanus wrote:
2018-05-16 11:36
O ką reiškia, sunkiau aprašyti? Reikalauja ilgesnių lygčių?
Grynai formaliai kalbant - reikalauja daugiau bitų informacijos. Aišku, praktikoje gali būti sunku tiksliai apskaičiuoti daugumos reiškinių sudėtingumą. Tačiau aš čia kalbu labiau apie teorinę idėją, o ne praktiką.

Šiaip jau net formulę buvau sufantazavęs:
sudetingumo-formule.png
Sudėtingumas (K) yra lygus skirtumo tarp sistemos entropijos (S) ir entropijos asimptotės (lim S) integralui laike (t). Ten yra visokių niuansų, ir ta formulė nelabai atitinka net ir mano labai kuklius eksperimentinius skaičiavimus.. Bet čia geriausia, ką turiu šiuo metu :)
Sejanus wrote:
2018-05-16 11:36
O jei galima aprašyti keliais skirtingais būdais, iš kurių vienas toks sudėtingas, kad beveik neįmanoma, o kitas – statistinis, tai koks sudėtingumas?
Suprantama, reikia rinktis paprasčiausią būdą aprašyti sistemą. Jei paprastesnis būdas statistinis - tai jį ir reikia naudoti.
Sejanus wrote:
2018-05-16 11:36
Pvz., monetos metimas. Ar įmanoma sukurtį lygtį, nuskančią rezultatą atsižvelgiant į visus įmanomus poveikius monetai, nuo pradinės padėties, sprigto stiprumo ir vietos monetoje, monetos svorio, dydžio, oro judėjimo, ir t.t.? Manau monetos metimas yra ypatingai sudėtingas reiškinys. Kita vertus, statistiškai labai paprastas, ~50/50
Nu tai aš ir sakau, kad tokia sistema yra paprasta, nes ją galima labai tiksliai aprašyti statistiniu būdu. Pvz., jei mėtysi monetą labai ilgai, vidutinis herbo atsivertimų kiekis vis labiau priartės prie 0.5 metimų kiekio.
Kaip kontrastą įsivaizduok akcijų biržą, kur akcijos kaina visą laiką juda priklausomai nuo rinkos užgaidų. Šiuo atveju, akcijos kaina neartėja prie jokio vidurkio, ir bendrai paėmus tu iš viso nelabai ką prasmingo galėsi pasakyti apie tos kainos kitimą tiek analitiniu, tiek statistiniu metodu. Therefore, galime daryti išvadą, kad finansų rinka yra žymiai sudėtingesnė sistema už monetos mėtymą.
User avatar
Vilius
administratorius
Posts: 3821
Joined: 2004-04-19 12:28
Location: Bruxelles

2018-06-07 03:04

O ką, jei visata bando maksimizuoti ne entropiją (as in antras termodinamikos dėsnis), o sudėtingumą? T.y. ji ne tiek stengiasi tolygiai paskirstyti energiją, kiek padaryti, kad jos pačios aprašymas būtų maksimaliai ilgas. Ir ne, tai nėra tas pats dalykas.

Pvz., kambarys pilnas tolygiai paskirstytų dujų turi maksimalią entropiją. Tačiau jo aprašymas nebūtinai yra maksimalus. Pvz., apie tą kambarį galima pasakyti, kad jo kairėje ir dešinėje pusėse yra maždaug vienodas kiekis molekulių. Tuo tarpu, gali būti begalė kambario būsenų, apie kurias net ir tokio fakto nebus galima pasakyti. Ir tos kitos būsenos bus sunkiau aprašomos, nei visiškai tolygi būsena, nes apie jas mes nežinosime net ir to vieno fakto.

Tai va, man kartais atrodo, kad visata ir stengiasi rasti vieną iš tų būsenų, kuri turi maksimaliai ilgą aprašymą (bet nebūtinai - maksimalią entropiją).


#kainesimiega
Lionginas
senbuvis
Posts: 2040
Joined: 2011-10-03 09:35

2018-06-07 08:37

Vilius wrote:Pvz., kambarys pilnas tolygiai paskirstytų dujų turi maksimalią entropiją. Tačiau jo aprašymas nebūtinai yra maksimalus. Pvz., apie tą kambarį galima pasakyti, kad jo kairėje ir dešinėje pusėse yra maždaug vienodas kiekis molekulių. Tuo tarpu, gali būti begalė kambario būsenų, apie kurias net ir tokio fakto nebus galima pasakyti. Ir tos kitos būsenos bus sunkiau aprašomos, nei visiškai tolygi būsena, nes apie jas mes nežinosime net ir to vieno fakto.
Tolygaus pasiskirstymo atveju reikėtų aprašyti kiekvienos dalelės poziciją ir momentą. Bet kokia kita šios sitemos būsena galės būti aprašoma arba tiek pat, arba trumpiau. Kaip pavyzdys - fraktalai. Triukšmą ekrane galima aprašyti tik vienu būdu - užfiksavus kiekvieno pikselio reikšmę. Fraktalo vaizdą taip pat galima aprašyti užfiksuojant kiekvieno pikselio reikšmę, daugiau tikrai nereikia. Tačiau fraktalą galima aprašyti ir trumpiau.

Aišku, aš nežinau, ką tu turi omeny sakydamas "sunkiau aprašomas". Jei tai aprašymo ilgis, tuomet maksimalus aprašymas visuomet bus su maksimalia entropija, nes tuomet sistemoje tiesiog nebus struktūrų, kurios galėtų būti aprašomos trumpiau.

Na, o jei "sunkiau aprašomas" reiškia, kad tiesiog sistemoje labai daug visokių sudėtingų struktūrų ir reikia daug laiko ir pastangų jas ištyrinėti, tai čia nelabai ką turi bendro su aprašymo ilgiu.
User avatar
Vilius
administratorius
Posts: 3821
Joined: 2004-04-19 12:28
Location: Bruxelles

2018-06-07 10:35

Lionginas wrote:
2018-06-07 08:37
Tolygaus pasiskirstymo atveju reikėtų aprašyti kiekvienos dalelės poziciją ir momentą.
Man keista, kodėl šioje vietoje visi ignoruoja akivaizdų faktą, kad tikslus padėčių aprašymas nėra vienintelis būdas aprašyti sistemas. Kitas būdas yra statistinis/tikimybinis. Ir šis būdas nėra niekuo prastesnis lyginant su tiksliais aprašymais - gi iš esmės ištisa kvantinė teorija (net nekalbant apie termodinamiką) yra būtent toks bandymas tikimybiškai aprašyti visatą.

Gi jau daviau oro dalelių pavyzdį. Jei tos molekulės tikrai būtų visiškai tolygiai pasiskirsčiusios, tai žinodamas molekulių kiekį viename tūrio vienete, tu (apytiksliai) žinotum jį ir visuose kituose makroskopiniuose tūrio vienetuose. Ir tai yra daug informacijos - kuri tau leistų daryti teisingas prognozes apie tą sistemą. Ir, jei jau tau pavyko iškrapštyti šitiek informacijos, tai reiškia, kad sistema tikrai nebuvo maksimaliai sunkiai aprašoma.

Vat jei tu paleistum kelias muses į tą kambarį (kurios beje padarytos iš tų pačių subatominių dalelių, kaip ir oras) - va tada kambarys staiga taptų sunkiai aprašomas ir pagal tikslų metodą (nes oro/musių dalelių padėtys vis dar būtų gana sunkiai aprašomos), ir pagal tikimybinį metodą - kas ten žino, ar tos kelios musės tikrai bus tolygiai pasiskirsčiusios po visą kambarį.
Lionginas wrote:
2018-06-07 08:37
Triukšmą ekrane galima aprašyti tik vienu būdu - užfiksavus kiekvieno pikselio reikšmę.
Tai va, kad - ne. Triukšmą ekrane dar galima aprašyti statistiškai - užfiksuojant kiekvienos spalvos tikimybę kiekviename pikselyje.
Lionginas
senbuvis
Posts: 2040
Joined: 2011-10-03 09:35

2018-06-07 11:54

Tai tu čia kalbi apie aproksimacijas. Triukšmo matematinis modelis irgi yra viso labo aproksimacija, nes iš to modelio tu negali tiksliai apskaičiuoti kiekvienos dalelės pozicijos. Tuo tarpu iš fraktalo modelio gali, nes pastarasis nėra aproksimacija.

Aš aproksimacijų naudos čia žinoma neneigsiu, jos yra labai naudingos, bet su entropija deja nelabai kaip siejasi. Bet kokį modelį sugalvoja žmogus, ir tas modelis gali būti skirtingų detalumo lygių. Tą patį kambarį su ir be musės galima iš principo aprašyti vienodai, jei mūsų parinktas modelis tokias smulkmes kaip musė ignoruos. O jei parinksime itin detalų modelį ir overfittinsime į iki ekstremumo, tai paprastas triukšmas atrodys kaip itin sudėtinga sistema.
User avatar
vvv2
skeptikas
Posts: 598
Joined: 2007-08-02 11:24

2018-06-08 18:31

Lionginas wrote:
2018-06-07 11:54
Aš aproksimacijų naudos čia žinoma neneigsiu, jos yra labai naudingos, bet su entropija deja nelabai kaip siejasi.
- "entropija" yra visiška fikcija, paremta baigtinio proto santykiu su begaline realija.

p.s.
.. paskaičiau "iš šono" ir supratau, kad vėl niekas nieko nesupras.. Daugelis gal nežino, kas iš viso yra "entropija"? Populiarus paaiškinimas: entropija išreiškia netvarkos lygį sistemoje. Tačiau ar visi žino kas yra "tvarka"? Vėl populiariai: tvarka yra tada, kai visi sistemos elementai atitinka dėsnį. O koks dėsnis turėtų būti? Štai čia ir įdomumas: jei sistema yra labai tvarkinga, bet tvarkinga pagal mūsų mažam baigtiniui protui nežinomą dėsnį? Dabar tikiuisi suprato tie, kurie turėjo rįžto tiek skaityti, jei dar turite rįžto likutį, paskaitykite ir apie "informacinę entropiją".


:)
Last edited by vvv2 on 2018-06-09 13:57, edited 1 time in total.
User avatar
Vilius
administratorius
Posts: 3821
Joined: 2004-04-19 12:28
Location: Bruxelles

2018-06-09 02:46

Lionginas wrote:
2018-06-07 11:54
Tai tu čia kalbi apie aproksimacijas. Triukšmo matematinis modelis irgi yra viso labo aproksimacija, nes iš to modelio tu negali tiksliai apskaičiuoti kiekvienos dalelės pozicijos.
Ne, bet pagal tą modelį galima sužinoti daug kitų naudingų dalykų. Pvz., žinant statistinį pasiskirstymą, galima atskirti būsenas, kurios negali būti identiškos kažkokiai žinomai etaloninei būsenai. Nes, jei nesutampa net aproksimuoti aprašymai, tai ir tikslūs aprašymai tikrai nesutaps. Ir dėl to, tu jau turi šiokią tokią perteklinę informaciją apie sistemą.

Kitas kraštutinumas būtų visiškai sutvarkyta sistema (tarkim, atomai kristalo gardelėje). Čia irgi bus daug perteklinės informacijos, tik ją lengviau bus aprašyti tiksliai, nei statistiškai. Paprasčiausias pavyzdys yra besikartojantis patternas. Fraktalui aprašyti turbūt prireiks nesudėtingo algoritmo, tačiau jis vis tiek bus gana trumpas.

Tai va, kažkur giliai giliai tos sistemos būsenų erdvėje, turi būti bent viena būsena, kuri turės minimalų kiekį perteklinės informacijos. Idealiu atveju - pati sistema ir bus trumpiausias jos aprašymas, kurio nebeįmanoma toliau sutrumpinti, nei pasitelkiant tikslius, nei statistinius aprašymus.

Ir mano bold statementas čia yra, kad visata lėtai bet užtikrintai bando surasti tokią būseną.
Lionginas wrote:
2018-06-07 11:54
Aš aproksimacijų naudos čia žinoma neneigsiu, jos yra labai naudingos, bet su entropija deja nelabai kaip siejasi.
Aš jų kol kas ir nebandau sieti su entropija. Tiesiog sakau, kad tai yra vienas iš būdų aprašyti sistemas.
Lionginas wrote:
2018-06-07 11:54
Tą patį kambarį su ir be musės galima iš principo aprašyti vienodai, jei mūsų parinktas modelis tokias smulkmes kaip musė ignoruos. O jei parinksime itin detalų modelį ir overfittinsime į iki ekstremumo, tai paprastas triukšmas atrodys kaip itin sudėtinga sistema.
Pirmu atveju - kuo daugiau detalių praleisti, tuo mažiau naudingos informacijos išgausi iš sistemos. Ir todėl toks aprašymas bus vis mažiau naudingas.
Kitu atveju - kuo labiau overfittinsi, tuo didesnis bus paties modelio aprašymas (kuris čia irgi yra svarbus!) - ir dėl to, naudingos informacijos kiekis bus vis mažesnis.
Post Reply