Entropija ir sudėtingumas

Ramesnės ir draugiškesnės diskusijos be politikos. Mažiau apie politines pažiūras, vertybes ar pan. bei labiau kurstomos smalsumo sau įdomia tema.
Post Reply
Vilius
emeritas
Posts: 6521
Joined: 2004-04-19 12:28

2015-07-24 22:41

Gerai, gerai.. Eisiu pažaist teorijas kur nors kitur :ax:

Visgi pabaigai iliustracija.
320348758_DBfqW-L-1.jpg
User avatar
Sejanus
senbuvis
Posts: 1669
Joined: 2008-11-16 14:41

2018-05-16 10:43

Ką manot?
Ką reiškia sudėtingi šiame kontekste? Ar yra kažkoks būdas palyginti (=išmatuoti ir išreikšti skaičiais) dviejų reiškinių sudėtingumą?
Vilius
emeritas
Posts: 6521
Joined: 2004-04-19 12:28

2018-05-16 11:26

Sejanus wrote:
2018-05-16 10:43
Ką reiškia sudėtingi šiame kontekste? Ar yra kažkoks būdas palyginti (=išmatuoti ir išreikšti skaičiais) dviejų reiškinių sudėtingumą?
Taip, yra. Sudėtingesnis yra tas reiškinys, kurį yra sunkiau aprašyti.

Pvz., atomai metale - paprasta sistema, nes jos elementai beveik nieko nedaro. Gal kartais įvyksta kažkurio atomo branduolio skilimas, ar prateka elektros srovė, tačiau šiuos reiškinius irgi galima aprašyti gana paprastais dėsniais.

Truputį keblesnis pavyzdys yra kambarys pilnas oro. Iš pirmo žvilgsnio gali pasirodyti, kad dėl dujų molekulių judėjimo chaotiškumo, tokią sistemą yra labai sunku (gal net - neįmanoma) tiksliai aprašyti. Tačiau iš tiesų, tą chaotišką elgesį irgi galima gana tiksliai aprašyti statistiniais dėsniais (termodinamika & co).

Tikrai sudėtingas reiškinys yra toks, kurį yra sunku aprašyti tiek analitiniais, tiek statistiniais (tiek bet kokiais kitais) būdais.
User avatar
Sejanus
senbuvis
Posts: 1669
Joined: 2008-11-16 14:41

2018-05-16 11:36

O ką reiškia, sunkiau aprašyti? Reikalauja ilgesnių lygčių?

O jei galima aprašyti keliais skirtingais būdais, iš kurių vienas toks sudėtingas, kad beveik neįmanoma, o kitas – statistinis, tai koks sudėtingumas? Pvz., monetos metimas. Ar įmanoma sukurtį lygtį, nuskančią rezultatą atsižvelgiant į visus įmanomus poveikius monetai, nuo pradinės padėties, sprigto stiprumo ir vietos monetoje, monetos svorio, dydžio, oro judėjimo, ir t.t.? Manau monetos metimas yra ypatingai sudėtingas reiškinys. Kita vertus, statistiškai labai paprastas, ~50/50
Vilius
emeritas
Posts: 6521
Joined: 2004-04-19 12:28

2018-05-16 12:02

Sejanus wrote:
2018-05-16 11:36
O ką reiškia, sunkiau aprašyti? Reikalauja ilgesnių lygčių?
Grynai formaliai kalbant - reikalauja daugiau bitų informacijos. Aišku, praktikoje gali būti sunku tiksliai apskaičiuoti daugumos reiškinių sudėtingumą. Tačiau aš čia kalbu labiau apie teorinę idėją, o ne praktiką.

Šiaip jau net formulę buvau sufantazavęs:
sudetingumo-formule.png
Sudėtingumas (K) yra lygus skirtumo tarp sistemos entropijos (S) ir entropijos asimptotės (lim S) integralui laike (t). Ten yra visokių niuansų, ir ta formulė nelabai atitinka net ir mano labai kuklius eksperimentinius skaičiavimus.. Bet čia geriausia, ką turiu šiuo metu :)
Sejanus wrote:
2018-05-16 11:36
O jei galima aprašyti keliais skirtingais būdais, iš kurių vienas toks sudėtingas, kad beveik neįmanoma, o kitas – statistinis, tai koks sudėtingumas?
Suprantama, reikia rinktis paprasčiausią būdą aprašyti sistemą. Jei paprastesnis būdas statistinis - tai jį ir reikia naudoti.
Sejanus wrote:
2018-05-16 11:36
Pvz., monetos metimas. Ar įmanoma sukurtį lygtį, nuskančią rezultatą atsižvelgiant į visus įmanomus poveikius monetai, nuo pradinės padėties, sprigto stiprumo ir vietos monetoje, monetos svorio, dydžio, oro judėjimo, ir t.t.? Manau monetos metimas yra ypatingai sudėtingas reiškinys. Kita vertus, statistiškai labai paprastas, ~50/50
Nu tai aš ir sakau, kad tokia sistema yra paprasta, nes ją galima labai tiksliai aprašyti statistiniu būdu. Pvz., jei mėtysi monetą labai ilgai, vidutinis herbo atsivertimų kiekis vis labiau priartės prie 0.5 metimų kiekio.
Kaip kontrastą įsivaizduok akcijų biržą, kur akcijos kaina visą laiką juda priklausomai nuo rinkos užgaidų. Šiuo atveju, akcijos kaina neartėja prie jokio vidurkio, ir bendrai paėmus tu iš viso nelabai ką prasmingo galėsi pasakyti apie tos kainos kitimą tiek analitiniu, tiek statistiniu metodu. Therefore, galime daryti išvadą, kad finansų rinka yra žymiai sudėtingesnė sistema už monetos mėtymą.
Vilius
emeritas
Posts: 6521
Joined: 2004-04-19 12:28

2018-06-07 03:04

O ką, jei visata bando maksimizuoti ne entropiją (as in antras termodinamikos dėsnis), o sudėtingumą? T.y. ji ne tiek stengiasi tolygiai paskirstyti energiją, kiek padaryti, kad jos pačios aprašymas būtų maksimaliai ilgas. Ir ne, tai nėra tas pats dalykas.

Pvz., kambarys pilnas tolygiai paskirstytų dujų turi maksimalią entropiją. Tačiau jo aprašymas nebūtinai yra maksimalus. Pvz., apie tą kambarį galima pasakyti, kad jo kairėje ir dešinėje pusėse yra maždaug vienodas kiekis molekulių. Tuo tarpu, gali būti begalė kambario būsenų, apie kurias net ir tokio fakto nebus galima pasakyti. Ir tos kitos būsenos bus sunkiau aprašomos, nei visiškai tolygi būsena, nes apie jas mes nežinosime net ir to vieno fakto.

Tai va, man kartais atrodo, kad visata ir stengiasi rasti vieną iš tų būsenų, kuri turi maksimaliai ilgą aprašymą (bet nebūtinai - maksimalią entropiją).


#kainesimiega
User avatar
Lionginas
senbuvis
Posts: 5553
Joined: 2011-10-03 09:35

2018-06-07 08:37

Vilius wrote:Pvz., kambarys pilnas tolygiai paskirstytų dujų turi maksimalią entropiją. Tačiau jo aprašymas nebūtinai yra maksimalus. Pvz., apie tą kambarį galima pasakyti, kad jo kairėje ir dešinėje pusėse yra maždaug vienodas kiekis molekulių. Tuo tarpu, gali būti begalė kambario būsenų, apie kurias net ir tokio fakto nebus galima pasakyti. Ir tos kitos būsenos bus sunkiau aprašomos, nei visiškai tolygi būsena, nes apie jas mes nežinosime net ir to vieno fakto.
Tolygaus pasiskirstymo atveju reikėtų aprašyti kiekvienos dalelės poziciją ir momentą. Bet kokia kita šios sitemos būsena galės būti aprašoma arba tiek pat, arba trumpiau. Kaip pavyzdys - fraktalai. Triukšmą ekrane galima aprašyti tik vienu būdu - užfiksavus kiekvieno pikselio reikšmę. Fraktalo vaizdą taip pat galima aprašyti užfiksuojant kiekvieno pikselio reikšmę, daugiau tikrai nereikia. Tačiau fraktalą galima aprašyti ir trumpiau.

Aišku, aš nežinau, ką tu turi omeny sakydamas "sunkiau aprašomas". Jei tai aprašymo ilgis, tuomet maksimalus aprašymas visuomet bus su maksimalia entropija, nes tuomet sistemoje tiesiog nebus struktūrų, kurios galėtų būti aprašomos trumpiau.

Na, o jei "sunkiau aprašomas" reiškia, kad tiesiog sistemoje labai daug visokių sudėtingų struktūrų ir reikia daug laiko ir pastangų jas ištyrinėti, tai čia nelabai ką turi bendro su aprašymo ilgiu.
Vilius
emeritas
Posts: 6521
Joined: 2004-04-19 12:28

2018-06-07 10:35

Lionginas wrote:
2018-06-07 08:37
Tolygaus pasiskirstymo atveju reikėtų aprašyti kiekvienos dalelės poziciją ir momentą.
Man keista, kodėl šioje vietoje visi ignoruoja akivaizdų faktą, kad tikslus padėčių aprašymas nėra vienintelis būdas aprašyti sistemas. Kitas būdas yra statistinis/tikimybinis. Ir šis būdas nėra niekuo prastesnis lyginant su tiksliais aprašymais - gi iš esmės ištisa kvantinė teorija (net nekalbant apie termodinamiką) yra būtent toks bandymas tikimybiškai aprašyti visatą.

Gi jau daviau oro dalelių pavyzdį. Jei tos molekulės tikrai būtų visiškai tolygiai pasiskirsčiusios, tai žinodamas molekulių kiekį viename tūrio vienete, tu (apytiksliai) žinotum jį ir visuose kituose makroskopiniuose tūrio vienetuose. Ir tai yra daug informacijos - kuri tau leistų daryti teisingas prognozes apie tą sistemą. Ir, jei jau tau pavyko iškrapštyti šitiek informacijos, tai reiškia, kad sistema tikrai nebuvo maksimaliai sunkiai aprašoma.

Vat jei tu paleistum kelias muses į tą kambarį (kurios beje padarytos iš tų pačių subatominių dalelių, kaip ir oras) - va tada kambarys staiga taptų sunkiai aprašomas ir pagal tikslų metodą (nes oro/musių dalelių padėtys vis dar būtų gana sunkiai aprašomos), ir pagal tikimybinį metodą - kas ten žino, ar tos kelios musės tikrai bus tolygiai pasiskirsčiusios po visą kambarį.
Lionginas wrote:
2018-06-07 08:37
Triukšmą ekrane galima aprašyti tik vienu būdu - užfiksavus kiekvieno pikselio reikšmę.
Tai va, kad - ne. Triukšmą ekrane dar galima aprašyti statistiškai - užfiksuojant kiekvienos spalvos tikimybę kiekviename pikselyje.
User avatar
Lionginas
senbuvis
Posts: 5553
Joined: 2011-10-03 09:35

2018-06-07 11:54

Tai tu čia kalbi apie aproksimacijas. Triukšmo matematinis modelis irgi yra viso labo aproksimacija, nes iš to modelio tu negali tiksliai apskaičiuoti kiekvienos dalelės pozicijos. Tuo tarpu iš fraktalo modelio gali, nes pastarasis nėra aproksimacija.

Aš aproksimacijų naudos čia žinoma neneigsiu, jos yra labai naudingos, bet su entropija deja nelabai kaip siejasi. Bet kokį modelį sugalvoja žmogus, ir tas modelis gali būti skirtingų detalumo lygių. Tą patį kambarį su ir be musės galima iš principo aprašyti vienodai, jei mūsų parinktas modelis tokias smulkmes kaip musė ignoruos. O jei parinksime itin detalų modelį ir overfittinsime į iki ekstremumo, tai paprastas triukšmas atrodys kaip itin sudėtinga sistema.
vvv2
senbuvis
Posts: 1178
Joined: 2007-08-02 11:24
Location: Kaunas city
Contact:

2018-06-08 18:31

Lionginas wrote:
2018-06-07 11:54
Aš aproksimacijų naudos čia žinoma neneigsiu, jos yra labai naudingos, bet su entropija deja nelabai kaip siejasi.
- "entropija" yra visiška fikcija, paremta baigtinio proto santykiu su begaline realija.

p.s.
.. paskaičiau "iš šono" ir supratau, kad vėl niekas nieko nesupras.. Daugelis gal nežino, kas iš viso yra "entropija"? Populiarus paaiškinimas: entropija išreiškia netvarkos lygį sistemoje. Tačiau ar visi žino kas yra "tvarka"? Vėl populiariai: tvarka yra tada, kai visi sistemos elementai atitinka dėsnį. O koks dėsnis turėtų būti? Štai čia ir įdomumas: jei sistema yra labai tvarkinga, bet tvarkinga pagal mūsų mažam baigtiniui protui nežinomą dėsnį? Dabar tikiuisi suprato tie, kurie turėjo rįžto tiek skaityti, jei dar turite rįžto likutį, paskaitykite ir apie "informacinę entropiją".


:)
Last edited by vvv2 on 2018-06-09 13:57, edited 1 time in total.
Vilius
emeritas
Posts: 6521
Joined: 2004-04-19 12:28

2018-06-09 02:46

Lionginas wrote:
2018-06-07 11:54
Tai tu čia kalbi apie aproksimacijas. Triukšmo matematinis modelis irgi yra viso labo aproksimacija, nes iš to modelio tu negali tiksliai apskaičiuoti kiekvienos dalelės pozicijos.
Ne, bet pagal tą modelį galima sužinoti daug kitų naudingų dalykų. Pvz., žinant statistinį pasiskirstymą, galima atskirti būsenas, kurios negali būti identiškos kažkokiai žinomai etaloninei būsenai. Nes, jei nesutampa net aproksimuoti aprašymai, tai ir tikslūs aprašymai tikrai nesutaps. Ir dėl to, tu jau turi šiokią tokią perteklinę informaciją apie sistemą.

Kitas kraštutinumas būtų visiškai sutvarkyta sistema (tarkim, atomai kristalo gardelėje). Čia irgi bus daug perteklinės informacijos, tik ją lengviau bus aprašyti tiksliai, nei statistiškai. Paprasčiausias pavyzdys yra besikartojantis patternas. Fraktalui aprašyti turbūt prireiks nesudėtingo algoritmo, tačiau jis vis tiek bus gana trumpas.

Tai va, kažkur giliai giliai tos sistemos būsenų erdvėje, turi būti bent viena būsena, kuri turės minimalų kiekį perteklinės informacijos. Idealiu atveju - pati sistema ir bus trumpiausias jos aprašymas, kurio nebeįmanoma toliau sutrumpinti, nei pasitelkiant tikslius, nei statistinius aprašymus.

Ir mano bold statementas čia yra, kad visata lėtai bet užtikrintai bando surasti tokią būseną.
Lionginas wrote:
2018-06-07 11:54
Aš aproksimacijų naudos čia žinoma neneigsiu, jos yra labai naudingos, bet su entropija deja nelabai kaip siejasi.
Aš jų kol kas ir nebandau sieti su entropija. Tiesiog sakau, kad tai yra vienas iš būdų aprašyti sistemas.
Lionginas wrote:
2018-06-07 11:54
Tą patį kambarį su ir be musės galima iš principo aprašyti vienodai, jei mūsų parinktas modelis tokias smulkmes kaip musė ignoruos. O jei parinksime itin detalų modelį ir overfittinsime į iki ekstremumo, tai paprastas triukšmas atrodys kaip itin sudėtinga sistema.
Pirmu atveju - kuo daugiau detalių praleisti, tuo mažiau naudingos informacijos išgausi iš sistemos. Ir todėl toks aprašymas bus vis mažiau naudingas.
Kitu atveju - kuo labiau overfittinsi, tuo didesnis bus paties modelio aprašymas (kuris čia irgi yra svarbus!) - ir dėl to, naudingos informacijos kiekis bus vis mažesnis.
Vilius
emeritas
Posts: 6521
Joined: 2004-04-19 12:28

2019-06-28 01:35

Va, jūsų dėmesiui pristatau bene giliausią mintį, kokia tik yra emerginusi mano pavargusioj galvelėj:

Jei pakankamai atidžiai įsižiūrėsi į bet kokią nesąmonę, pamatysi joje dievo veidą.

Čia, aišku, reikia ne skaityti pažodžiui, kaip kokiam varguoliui atėjistui, o interpretuoti alegoriškai.. Ką padaryti paliksiu namų darbams 8)


[Truputį padailinau formuluotę]
Last edited by Vilius on 2019-06-28 12:09, edited 1 time in total.
User avatar
fizikanas
senbuvis
Posts: 5791
Joined: 2004-05-27 19:45

2019-06-28 08:42

Vilius wrote:
2019-06-28 01:35
Va, jūsų dėmesiui pristatau bene giliausią mintį, kokia tik yra emerginusi mano pavargusioj galvelėj:

Jei pakankamai ilgai žiūrėsi į bet kokią randominę nesąmonę, pamatysi joje dievo veidą.

Čia, aišku, reikia ne skaityti pažodžiui, kaip kokiam varguoliui atėjistui, o interpretuoti alegoriškai.. Ką padaryti paliksiu namų darbams 8)
Ar samone buvo kazkuo tai stimuliuojama?
Augustas
senbuvis
Posts: 3165
Joined: 2012-05-03 18:44

2019-06-28 11:24

Vilius wrote:
2019-06-28 01:35
Va, jūsų dėmesiui pristatau bene giliausią mintį, kokia tik yra emerginusi mano pavargusioj galvelėj:

Jei pakankamai ilgai žiūrėsi į bet kokią randominę nesąmonę, pamatysi joje dievo veidą.

Čia, aišku, reikia ne skaityti pažodžiui, kaip kokiam varguoliui atėjistui, o interpretuoti alegoriškai.. Ką padaryti paliksiu namų darbams 8)
Na, taip, nes mūsų Visatoje nėra vietos, kur nebūtų dieviškumo pėdsakų. :wink: :love: Tad jei pakankamai gerai ("gerai" šiuo atveju reiškia kokybę, o ne kiekybę) įsižiūrėsi į nesąmonę, tai iš tikrųjų pamatysi, kad ne visai nesąmonė.

P.S.
Ar samone buvo kazkuo tai stimuliuojama?
Nebūtinai sąmonės stimuliacija, Fizikane, kalta. Greičiau jau įgimtas Viliui įžvalgumas pasireiškė visa savo jėga. :wink:
Vilius
emeritas
Posts: 6521
Joined: 2004-04-19 12:28

2019-06-28 12:03

fizikanas wrote:
2019-06-28 08:42
Ar samone buvo kazkuo tai stimuliuojama?
Negaliu nei patvirtinti, nei paneigti šių įtarinėjimų :)

Bet, kai jau sukaupsi pakankamai drąsos, kad peržengtum savo intelektualinius kompleksus, pabandyk ir tu parašyti kokia interpretacija tau ateina į galvą. Aš sugalvojau gal kokias tris ar keturias.. Ir visos buvo teisingos 8)
Vilius
emeritas
Posts: 6521
Joined: 2004-04-19 12:28

2019-06-28 12:07

Augustas wrote:
2019-06-28 11:24
Tad jei pakankamai gerai ("gerai" šiuo atveju reiškia kokybę, o ne kiekybę) įsižiūrėsi į nesąmonę, tai iš tikrųjų pamatysi, kad ne visai nesąmonė.
Būtent. Čia yra viena iš tų galimų interpretacijų.
Augustas wrote:
2019-06-28 11:24
Greičiau jau įgimtas Viliui įžvalgumas pasireiškė visa savo jėga. :wink:
Dėkoju už komplimentą.
User avatar
fizikanas
senbuvis
Posts: 5791
Joined: 2004-05-27 19:45

2019-06-28 12:28

Vilius wrote:
2019-06-28 12:03
Bet, kai jau sukaupsi pakankamai drąsos, kad peržengtum savo intelektualinius kompleksus, pabandyk ir tu parašyti kokia interpretacija tau ateina į galvą. Aš sugalvojau gal kokias tris ar keturias.. Ir visos buvo teisingos 8)
1. Kadangi nera tiksliai zinoma koks yra dievo veidas, tai galima isivaizduoti ji esant bet kokiu, taigi ir izvelgti bet kokioje nesamoneje.
2. Veidas cia perkeltine prasme ir norima pasakyti, kad tai dievo itakota, nes dievas sukure visata, taigi viskas ka joje galima pamatyti yra jo deka.
3. Dievas cia perkeltine prasme ir turima omenyje visata arba fizikos desnius, o jie visur galioja, taigi bet kur galima juos izvelgti.
4. Dievas cia turima omeny entropija, o ji visuose random reiskiniuose su laiku dideja, taigi ja galima visur izvelgti, kur yra kazkas random.
5. Cia istikro apie machine learning modelio overfittinima, kur dirbtinis intelektas neteisingai atpazysta paveikslelius visus priskirdamas dievo kategorijai
6. Cia istikro apie lyti, o dievas yra belytis, todel ziuredamas i betkoki trans-bi-a-seksuala gali jame izvelgti tam tikras dievo savybes. (bet istikro tai dievas i ji ziuredamas verkia)

Nu viskas, daugiau galvoti truksta stimuliacijos.
Vilius
emeritas
Posts: 6521
Joined: 2004-04-19 12:28

2019-06-28 23:21

fizikanas wrote:
2019-06-28 12:28
1. Kadangi nera tiksliai zinoma koks yra dievo veidas, tai galima isivaizduoti ji esant bet kokiu, taigi ir izvelgti bet kokioje nesamoneje.
Va čia yra kaip tik ta pažodinė interpretacija, kokią ir tikėjausi išgirsti šiame bedvasių ateistų forume.. Nu gerai, čia tik pirma interpretacija, tikiuosi kitos bus gilesnės.
fizikanas wrote:
2019-06-28 12:28
2. Veidas cia perkeltine prasme ir norima pasakyti, kad tai dievo itakota, nes dievas sukure visata, taigi viskas ka joje galima pamatyti yra jo deka.
Čia jau kažkur judam.. bet ten ne tik "veidas", bet ir pats "dievas" naudojamas perkeltine prasme.
fizikanas wrote:
2019-06-28 12:28
3. Dievas cia perkeltine prasme ir turima omenyje visata arba fizikos desnius, o jie visur galioja, taigi bet kur galima juos izvelgti.
Va va, iš trečio karto jau kažkur pataikei. Iš tiesų, viena iš teisingų interpretacijų yra, kad pakankamai įdėmiai stebėdamas net ir "nesąmonę", gali joje pastebėti bendrus dėsnius, kaip ir kitose visatos dalyse.
fizikanas wrote:
2019-06-28 12:28
4. Dievas cia turima omeny entropija, o ji visuose random reiskiniuose su laiku dideja, taigi ja galima visur izvelgti, kur yra kazkas random.
Entropiją vadinti "dievu" būtų kiek keistoka.. Nes kalbėdami dievą, žmonės retai kada turi galvoje netvarkos didėjimą. Netgi priešingai - jie paprastai dieviškumą įžiūri tuose reiškiniuose, kur iš pirmykščio chaoso spontaniškai atsiranda tvarka. Kas priveda prie dar vienos (irgi teisingos) interpretacijos - kad dievo veidas, kurį neišvengiamai pastebėtų tos nesąmonės stebėtojas, iš tiesų yra tas universalus emergentizmo dėsnis.
fizikanas wrote:
2019-06-28 12:28
5. Cia istikro apie machine learning modelio overfittinima, kur dirbtinis intelektas neteisingai atpazysta paveikslelius visus priskirdamas dievo kategorijai
Jo, apie panašią interpretaciją irgi buvau pagalvojęs. Ji gal kažkiek prieštarauja dviems ankstesnėms, bet nepaisant to irgi gali būti teisinga ('cause why the hell not?)
Anyway, mintis tokia, kad pakankamai ilgai stebėdamas bet kokį reiškinį, gali nesveikai overfittinti savo paties neuronų tinklą iki tokio lygio, kad pradėsi jame pastebėti keistus dalykus, kurie nebūtinai egzistuoja realybėje, bet garantuotai egzistuos tavo smegenyse. Kaip nutiko tam nelaimingam matematikui iš Pi filmo, kuriam pavažiavo stogas, kai pradėjo matyti kažkokius patternus savo skaičiavimuose. Visai nenustebčiau, kad čia yra vienas iš dažnų kelių, kaip protingi žmonės atranda dievą.
fizikanas wrote:
2019-06-28 12:28
6. Cia istikro apie lyti, o dievas yra belytis, todel ziuredamas i betkoki trans-bi-a-seksuala gali jame izvelgti tam tikras dievo savybes. (bet istikro tai dievas i ji ziuredamas verkia)
Lol. Keliu kepurę už tai, kad net šioje temoje radai kaip įvelti bybius ir rūras, kaip sako Lionginas.. :D
Post Reply