Neuronet

Az oldal jelenlegi verzióját még nem ellenőrizték tapasztalt közreműködők, és jelentősen eltérhet a 2021. szeptember 25-én felülvizsgált verziótól ; az ellenőrzések 8 szerkesztést igényelnek .

A Neuronet ( eng.  NeuroNet , NeuroWeb , Brainet ) vagy a Web 4.0 a World Wide Web  fejlesztésének egyik javasolt szakasza , amelyben a résztvevők (emberek, állatok, intelligens ágensek) interakciója az neurokommunikáció . Az előrejelzések szerint 2030-2040 körül váltja fel a Web 3.0 -t .

Történelem

A Neuronet koncepciójának alapjául szolgáló ötletek több mint egy évtizedes múltra tekintenek vissza. Mindenekelőtt az emberi intelligencia fokozásának lehetőségéről beszélünk a fizikai erő növelésével analógiával , amelyet William Ashby hangoztat a "Bevezetés a kibernetikába" (1956) [1] című művében, majd Joseph Licklider kidolgozta a " Human- Computer Symbiosis" (1960). ) [2] és Douglas Engelbart a „Supplementing human intelligence: a conceptual framework" (1962) című jelentésében az exocortex  , egy emberen kívüli információfeldolgozó rendszer [3] fogalmába . 1973-ban Jacques J.  Vidal használta először az agy-számítógép interfész kifejezést „Az agy és a számítógép közötti közvetlen kapcsolat felé” című cikkében, majd Roy BakayRoy BakayésPhillip Kennedy1998 az atlantai Emory Egyetemről beültették az első ilyen interfész egy Johnny Ray nevű páciensen [ 5] [ 6] .   

Másodszor, egy globális agy lehetőségéről beszélünk ., melynek ötlete H. G. Wells "The World Brain " (1936-1938) elbeszélésgyűjteményére nyúlik vissza. Kicsit később Pierre Teilhard de Chardin Edouard Leroy nooszféráról alkotott elképzelését kidolgozva az " Ember jelensége " (1938-1940) című művében megfogalmazta az Omega-pont fogalmát  - azt a pillanatot, amikor az emberi tudat teljessége valamiféle magasabb tudattá formálódnak [7] . Valentin Turchin a "The Phenomenon of Science: A Cybernetic Approach to Evolution" (1973) című könyvében bevezette az evolúció kvantumának fogalmát  – egy metarendszer átmenetet .[8] . Ezen átmenetek egyikének eredményeként lehetővé válik az egyes idegrendszerek fizikai integrációja potenciálisan halhatatlan emberi szuperlények létrehozásával [9] . Az első tudományos publikáció a témában Gottfried Mayer-Kress és  Kathleen Barczys " A  globális agy mint a világméretű számítógépes hálózatból fejlődő struktúra, és ennek a következtetésnek a modellezésre gyakorolt ​​hatása" (1995) cikke volt. 2013 óta folynak kísérletek a közvetlen agy-agy kommunikáció lehetőségével kapcsolatban (Sam A. Deadwyler és mtsai, Miguel Pais-Vieira és mtsai, Carles Grau et al., Rajesh PN Rao et al.) [10 ] [11] [12] .

2011-ben a neuroszámítógépes interfészek jól ismert megalkotója, a brazil Miguel Nicolelis a Beyond boundaries :  az agy és a gépek összekapcsolásának új idegtudománya – és hogyan fogja megváltoztatni az életünket című könyvében a „Brainet” szót javasolta jövő agyi hálózata "( angol  Brainet , brain-net ) [13] [14] [15] . A "neuronet" ( eng.  neuronet , neuro-net ) kifejezést eredetileg a mesterséges neurális hálózatokra használták [16] [17] [18] . Oroszországban 2012 óta a szemantikus web után a globális kommunikációs hálózat következő generációjának neveként értelmezett új értelmezés [19] [20] . Ebben az értelemben a Neuronetet az adott év novemberében a Polit.ru [21] , 2013 márciusában pedig az Russian Reporter magazin az Russia 2045 mozgalom résztvevőinek tevékenységével foglalkozó cikkében említették , hivatkozással. Raymond Kurzweil amerikai futurológusnak [22] . Egy TED konferencián 2005 februárjában Kurzweil azt jósolta, hogy 2029-re az ember elkezd egyesülni a technológiával [23] . A 2012 októberében Santa Clarában (Kalifornia) tartott DEMO konferencián pedig az agyi képességek jövőbeni bővítéséről beszélt a számítási felhő révén , vagyis az exokortexről [24] . 2013 augusztusában a Neuronet kifejezést a Moszkvai Menedzsment Iskola professzora, Skolkovo Pavel Luksha hangoztatta a Stratégiai Kezdeményezések Ügynöksége (ASI) által vezetett Foresight Flottában [25] , valamint az oktatás eredményeinek bemutatása során. 2030 -as előrejelzési projekt [ 26] [27] .

2014. október 16-án a Russian Venture Company (RVC) irodájában „Roadmap of Neuronet” szakértői szemináriumot tartottak Stephen Dunne  , a Starlab Neuroscience Research igazgatója részvételével; Karen Casey ,  a Global Mind Project alapítója ; Randal A. Kuhne , a Carboncopies.org tudományos alapítvány vezérigazgatója és a NeuraLink Co. alapítója; Mikhail Lebedev, tudományos főmunkatárs, Neuroengineering Központ, Neurobiológiai Osztály, Duke Egyetemi Orvosi Központ (M. Nicolelis labor); Jevgenyij Kuznyecov, az RVC vezérigazgató-helyettese. A szemináriumot az orosz Neuronet Csoport társalapítói, Pavel Luksha és Timur Shchukin , valamint az RVC Innovációs Ökoszisztéma Fejlesztési Szolgálatának vezetője, Georgij Gogolev [28] [29] [30] vezette .

Az ASI megbízásából a "Constructors of Practice Communities" csoport készített jelentést a jövő neuropiacairól [31] [32] . 2015. július 1-jén Oroszország elnökének bemutatták az első jelentést a Nemzeti Technológiai Kezdeményezésről (NTI), egy hosszú távú programról, amely 2035-re biztosítja Oroszország vezető szerepét a globális technológiai piacokon. Előző napon, ugyanazon év májusában a Neuronet a következő Foresight flotta során megvitatott 9 NTI-piac között volt. Az ASI-nek és az RVC-nek 2016. január 1-je előtt meg kell vizsgálnia az NTI ütemtervet a Neuronet piacra vonatkozóan, és egyeztetnie kell a szövetségi végrehajtó hatóságokkal [11] [33] [34] .

Leírás

Háttér

Kommunikációs elégtelenség

Az első előfeltétel az emberi agy magas potenciálja és azon szervek állapota közötti eltérés , amelyek felelősek az ember és a külső környezet információcseréjéért . Egyrészt az agy sokkal hatékonyabb, mint egy számítógép : az agy működésének teljes szimulálásához egy szuperszámítógépre van szükség , amely körülbelül 12 GW-ot fogyaszt, miközben maga az agy energiafogyasztása csak körülbelül 20 W [35] . Másrészt az agyat nem hatékonyan használják, amit a különféle okok (fiziológiai, pszichológiai zajok, szemantikai és szociokulturális akadályok) okozta, emberspecifikus kommunikációs hibák (zajok) mutatnak. Az észlelés fontos gátja a kísérleti ismeretek hiánya miatt kialakulatlan világkép [30] [36] . Pavel Luksha szerint a kommunikáció minősége javulna, ha lehetővé válik az élettapasztalat agyból agyba való közvetlen átvitele [29] (ez a javaslat megfelel az ideális végeredmény TRIZ elképzelésének). A döntéshozatal minőségét az is javítaná , ha egy speciális eszköz felerősítené az agyi „ hibadetektor ” jeleit, amikor az ember érzelmi állapota nem teszi lehetővé azok rögzítését [11] . Külön említést érdemelnek a beszéd okozta kommunikációs hibák : a nyelvfilozófiában még a nyelvi szkepticizmusnak is volt egy iránya ( Hugo von Hofmannsthal ), amely megtagadta a nyelv kifejezőképességét [37] [38] .

Az agy és a külső környezet interakciójának hatékonyságának növelése iránti igény egyik oka a betegségek megelőzésének és következményeinek megszüntetésének igénye. Így nő az embert érő mentális stressz, ennek eredményeként az Európai Unió depresszióból eredő veszteségei meghaladták az évi 300 milliárd eurót . Évente további 600 milliárd eurót költ Európa a központi idegrendszeri betegségek kezelésére. Oroszországban a 2000-2012 közötti időszakban 33,5%-kal nőtt az első diagnosztizált neurológiai betegségben szenvedő 0 és 14 év közötti gyermekek száma. Emiatt elkerülhetetlen a szűrőeszközök fejlesztése , beleértve a neuromérnöki , neuroprotetikai módszereket is [39] . Ugyanakkor lehetséges, hogy az elektronikus implantátumok lehetővé teszik a fogyatékkal élők számára, hogy átlépjék az észlelés hagyományos határait: például megszerezzék az éjszakai látást [40] . A neuroprotézisek ezen előnye érdekes lehet a katonai és sportorvoslás számára [41] .

Technológia fejlesztése

Olyan számítógép létrehozására irányuló kísérletek során, amelynek eszközeinek hatékonysága megközelíti az agyat ( neurokomputer ), elkerülhetetlen, hogy az agy feltérképezése, amelyet már számos nemzetközi projektben valósítanak meg [35] . Egy ilyen térkép megjelenése mellékhatásként lehetővé teszi az aggyal való közvetlen interakció mesterséges csatornáinak létrehozását [42] .

Ugyanilyen fontos a Web 3.0 egy olyan részének várható megjelenése, mint a tárgyak internete . Ez a szenzorhálózatokban egyesült dolgok közötti kommunikáció kialakulásához fog vezetni . A jövőbeni kommunikáció elkerülhetetlenül antropocentrikussá válik , legalábbis az orgonavetítés ( németül: Organprojektionsthese ) koncepciójának jól ismert technológiai filozófiája miatt , vagyis az lesz a céljuk, hogy egy bizonyos egyéni teret építsenek az ember köré. . Egy ilyen cél arra kényszeríti az embert, hogy olyan interfészeket és adatátviteli protokollokat csiszoljon, amelyek kényelmesek a dolgokkal való kommunikációhoz, az emberi egyéniség feltárására hangolva. A dolgok közötti kommunikáció lehetőségének ténye (a jövő állapotát ésszerű környezetnek nevezzük) az anyag újjáéledésére hasonlít (lásd hylozoizmus ), amelyből már csak egy lépés van hátra az embernek a természettel való teljes összeolvadásáig, a tudat mesterséges médiára való átvitelével (lásd digitális halhatatlanság ). A tárgyak internete vívmányai megteremtik a Neuronetre való átállás technikai alapot [43] [44] .

Evolúciós kihívások

Számos gondolkodó fejleszti azt az elképzelést, hogy a 21. század első felében az emberiség elágazási ponton találja magát . Ismert például a Budapest Club alapítójának figyelmeztetése Erwin Laszlo a közelgő makroeltolódásról : a  hipertróf ökológiai lábnyom és a társadalmi egyenlőtlenség oda viszi a világot, hogy vagy társadalmi összeomlás következik be (lásd még az emberiség halála ), vagy a Valentin Turchin által megígért metarendszerváltás [45] . Valójában a szingularitás fogalma is a globális átmenetről beszél [46] . Gyakori hely a hagyományos értékek fogyasztói társadalom mércéivel való helyettesítésének kritikája, amely alantas motívumokat gerjeszt az emberben [ 47] . Végül a filozófusok aggodalma a mesterséges intelligencia felkelés kockázata.[48] ​​. Szergej Szergejev , a pszichológia doktora: A világháló egy összetett rendszer, és az ilyen rendszerek önszerveződőek . Azt , hogy a web önszerveződése milyen hatással lesz az emberekre, még várni kell [49] .

David Dubrovsky filozófiadoktor szerint a felhalmozódó globális problémák leküzdése az antropogenezis folytatásával kétféle módon lehetséges: vagy az ember biológiai természetének megváltoztatásával ( eugenika ), vagy az elme nem biológiai énben való megtestesítésére való törekvéssel. szervező rendszer. Dubrovsky számára a második mód előnyösebbnek tűnik [50] . Így a transzhumanisták ( Alexander Laurent) a neuroközösség létrehozásában a globális agy hordozójaként tekintenek. Jules de Rosnaya "L'Homme symbiotique" (1995) című könyvében azt javasolta, hogy egy emberfeletti bolygótudat kialakulása csak akkor lehetséges, ha közvetlen kapcsolat áll fenn az agyi tevékenység és a nagy sebességű számítógépes hálózatok között [51] .

Főbb jellemzők

A Brainet definíciója szerint, amelyet M. Nicolelis laboratóriumának csapata követ, ez egy közvetlen agy-agy interfészek segítségével egyesített hálózat , amely számos állat agyából áll, amelyek valós időben képesek kölcsönhatásba lépni és információt cserélni. ezzel egy új típusú számítógépes eszközöket alkotva – organikusan számítógépet[14] . Ez a meghatározás közel áll az Anatolij Levencsuk által javasolt „gyenge neuronet” fogalmához (az erős és gyenge mesterséges intelligenciával analógiára ) [52] .

Főleg Oroszországban a Neuronet nem egy újfajta számítógép, hanem egy jövőbeli kommunikációs környezet, amely egyesíti az emberi (és nem csak) elméket , csapatokat és intelligens ügynököket a neurotechnológiák alapján , lehetővé téve számukra a gondolatok, érzések és érzések cseréjét. a résztvevők belső világában rejlő tudás (beleértve az impliciteket is) [20] [32] . A hálózati csomag az agyközpontokra gyakorolt ​​közvetlen információhatás elvén fog alapulni, az érzékszerveket megkerülve [53] . Egy ilyen hálózat kiépítéséhez meg kell oldani az agy megértésének problémáit, speciális interfészek és hálózati protokollok létrehozásával [54] [30] .

Az agy megértése

Az agyolvasási probléma megoldásarendkívül fontos a neuronet létrehozása szempontjából. A tudatfilozófia több mint egy évszázada ismeri a test és a tudat kapcsolatának problémáját ( angolul  mind-body problem ). A probléma jelentése az, hogy a szubjektív valóság jelenségei nem rendelhetők fizikai tulajdonságokhoz [30] [55] . A jelenlegi szakaszban a tudósok még nem képesek véges számú tudatállapotot megállapítani, míg digitalizálásukhoz még fuzzy halmazok használata esetén is meg kell határozni egy értékintervallumot [56] .

I/O eszközök

Az interfészek fontossága abból adódik, hogy az interakcióban lévő objektumok esetében az interfész az, amely közvetlen partnerként működik a kommunikációban. A neurokommunikációhoz mind a kimeneti eszközökre van szükség az agyi aktivitás rögzítéséhez, mind a bemeneti eszközökre az agy befolyásolásához [29] . Az "agy-számítógép-agy" vonal mentén történő információcsere interfészek létrehozásának alapvető lehetősége a következő tézisekből adódik: 1) a természet anyagi egysége a nanorészecskék szintjén (ez az egyik alapja a NBIC konvergencia fogalma) [57] ; 2) az információ változatlanságáról - ugyanazt az információt fizikai tulajdonságaikban eltérő hordozók is megtestesíthetik és továbbíthatják (ez a rendszerek izofunkcionalizmus elvének speciális esete) [58] .

A tudományos kísérletek során elektronikus implantátumokat használtak az első agy-számítógép interfészként . Az elektroencefalográfián (EEG) alapuló non-invazív megoldások eddig kisebb hatékonyságot mutatnak [59] . Talán a jövőben az interfész fő formája a nem feltűnő smart dust lesz [29] [60] ; legalábbis Mark Weiser ubicomp koncepciója szerint , a legmélyebb és legfejlettebb technológiák azok, amelyek "eltűnnek" (ami hasonló a TRIZ-ben az ideális műszaki rendszer meghatározásához) [61] .

Kommunikációs protokollok

Szerint A. Levenchuk , az adatátvitelt egy speciális protokoll szerint kell végrehajtani , amelyet " NeuroWeb " ( NeuroWeb ) .  Ez utóbbi alkalmazási réteg protokollként fog működni a TCP/IP hálózati protokollon felül . A hálózat adatokat fog továbbítani az agy állapotáról és aktivitásáról, amit még nehéz pontosabban jellemezni [30] [11] . Valószínűleg célszerű, ha a rendszer valamilyen egységes, univerzális jelentésnyelven működne (lásd Szemantikus Web ), gépi fordítással e nyelv és az egyes agyak nyelve között [62] [63] .

A fejlődés becsült szakaszai

A Neuronet fejlődési szakaszaira vonatkozó elképzelések nyilvánvaló okokból eltérőek. Tehát M. Lebedev szerint az agy globális hálózatokhoz való csatlakoztatása 2020-ra elérhető lesz a gazdag emberek számára, további 5 év múlva a Neuronet közjószággá válik, 2030-ra pedig már elveszíti tudományos érdeklődését ez a téma [30] ] . Maxim Patrushev, a Balti Szövetségi Egyetem Kémiai és Biológiai Intézetének igazgatója szerint a Neuronet legkésőbb 2035-re felváltja az internetet [32] . Ray Kurzweil a gondolkodás hibridizációját ígéri 2030 után [64] . Hans Moravec arra számít, hogy a technológiai szingularitás idején 2045-ben az emberi agy egy mesterséges eszközhöz kapcsolódik [65] .

Pavel Luksha előadásában a „Roadmap of Neuronet” szakértői szemináriumon RVC-ben 2014 októberében három szakaszt azonosítottak a Neuronet felé vezető úton: 1) Biometrikus hálózat (pre-Neuronet) - 2014-től 2024-ig; 2) a Neuronet megjelenése - 2025-től 2035-ig; 3) egy teljes értékű Neuronet megjelenése - 2035 után [29] . Az alábbiakban az ASI számára kidolgozott neuromarketekről szóló jelentésben javasolt neuronet kialakulásának szakaszai láthatók [66] .

Első szakasz (2015–2020)

Az első szakaszban a jövőbeli hálózat hajtásai egyenetlenül jelennek meg [67] . Az emberi konnektómát általánosságban állították össze, a tudósok egy univerzális kapcsolat létrehozásával vannak elfoglalva. Az agy egészének modellezése még nem fejeződött be, de annak teljes szakaszait már modellezték [68] . Az első szakasz fő trendje a biofeedback (BFB) viselhető eszközök elterjedése, a háztartási gépek mindenhol rá vannak kötve a dolgok internetére, terjednek a kiterjesztett valóság rendszerek . Az analóg-digitális konverterek bitmélysége 32 bitre nőtt , ami lehetővé teszi az interfészek dinamikatartományának növelését. Megoldás alatt áll a számítógépes hálózaton keresztül történő villamosenergia-átvitel problémája . A hordható eszközök nagy adattömböket halmoznak fel, megjelenik a biometrikus BigData független rése [69] .

Megjelennek a mesterséges izmok első mintái, bioprotéziseket és exoskeletonokat használnak az emberi képességek helyreállítására és fokozására. A hang nélküli kommunikációs projektek, például a Silent Talk befejeződtek . A gyógyszerészetet kezdi szorítani a bioelektronikaa gyógyszer. A hordható eszközöket pszichoterápiában és csoportmunkában használják. Az üzleti iskolák az egyszerű mentális állapotok kezelését (relaxáció, koncentráció) tanítják [70] .

Az intelligens személyes szoftverügynökök fokozatosan terjednek és fejlődnek . A neurotechnológia belép a kisállat -piacra , mivel kevesebb jogi korlátozás vonatkozik az új megoldások bevezetésére. A kooperatív interakció ( crowdsourcing , közös fogyasztás ) tapasztalatai fokozatosan felhalmozódnak a gazdaságban, a közös munka szoftverét fejlesztik [71] .

Második szakasz (2020–2030)

Van egy Neuronet prológ, amely két irányból áll. Először is, ez a „ biometrikus web ”, mint olyan eszközök hálózata, amelyek leolvasják az ember fiziológiai paramétereit [72] . Az agy feltérképezése már befejeződött, a tudósok először az egyéni mentális folyamatok modellezésére , majd a mentális állapotok újrateremtésére tértek át . A kutatókat az agy és az emberi "neurogén" evolúciója is érdekli. A magas hőmérsékletű szupravezetők drasztikusan csökkentették a magnetoencephalográfia (MEG) költségeit, az idegi interfészek alig észrevehetők, behatolnak az emberi testbe, és lehetővé válik számukra, hogy kölcsönhatásba lépjenek a tudattalan területtel . A kiterjesztett valóság rendszerek nemcsak képeket, hanem hangokat, szagokat és tapintási érzeteket is továbbítanak . A neurális interfészek olcsósága az ember-számítógép interakció általánosan elfogadott szabványává teszi őket. A viselkedési stratégiákra vonatkozó adatok értékesítésének piaca van kialakulóban, amelyet a hordható eszközökhöz való szoftvergyártók biztosítanak [73] .

A szervezet számos rendszere mesterségesen megkettőzhető: az immunrendszer, a perifériás idegrendszer, a vérösszetétel fenntartása stb. A vizsgált természetes módosult tudatállapotok listája folyamatosan bővül . Megjelennek az automatikus állapotstimulátorok (egyúttal messze nem csak a relaxáció vagy a fokozott koncentráció funkcióit támogatják), a csoportos pszichoterápia az érzelmek cseréjét alkalmazza, és felgyorsult tanulási rendszerek jöttek létre . Megvalósított szemantikai fordítás, megjelennek az első precedensek a neurális szemantika leírására. Talán az elektronikus biológiai szabványok megjelenése a szubcelluláris folyamatokhoz igazított adatokkal és protokollokkal való munkavégzéshez, a kvantumkriptográfia alkalmazása nem kizárt [74] .

Másodszor, az „ együttműködő webről ” beszélünk – egy olyan szervezeti modellről, amely bármilyen kompetenciával rendelkező személyt képes bevonni egy rendezett, céltudatos kommunikációba. A szabványosított API -kon keresztül különféle közösségi hálózatok integrálódnak a "hálózatok hálózatának" nevezett rendszerbe. A hagyományos vezérlőrendszerek már nem képesek kezelni a tárgyak internete által generált különféle jeleket. A puha rendszerek módszertana divatosés a szervezeti rugalmasság, interakciót támogató rendszerekbena számítógép közvetítő szerepe növekszik. A kockázatok kezelésére számítógépes szakértői rendszereket alkalmaznak . Folyamatban vannak az első Neuronet-kísérletek, neurokollektívumok létrehozására van igény a masszívan multiplayer online játékokban [75] .

Harmadik szakasz (2030–2040)

Ebben a szakaszban a neuronet teljes értékű gócai jelennek meg és fokozatosan terjednek [76] . A tudósok elfogadják a tudat, a gondolkodás és a psziché szocialitásáról szóló tézist, melynek eredményeként az agymodellezésről a kollektívák modellezőjére térnek át. Kísérletek folynak egy hibrid elmemodell összeállítására. A szenzorok közelednek a nanoméretű skálához , a közönséges méretű robotok mellett kvázi élő mikrorobotok csapatai vannak kialakulóban . A MEG-alapú neurointerfészek ( magnetoencephalográfia ) ugyanolyan gyakoriak, mint manapság[ mikor? ] mobiltelefonok . Az elektronikus eszközök kezdenek versenyezni az optogenetikus szubcelluláris interfészek által [77] .

Sok szakmai tevékenységet megváltozott tudatállapotban végeznek, és ezeknek az állapotoknak mesterséges típusait konstruálják meg. A szemantikai hálót "bioszemantika" egészíti ki (ez alatt értjük a bioszisztémák tevékenységének szemantikai analógjait). Léteznek protokollok a "nyers" neuroadatok átvitelére, felmerülnek az idegközösségek első precedensei. Az ilyen közösségek alapja az exokortex és a körülötte egyesült emberek, kollektívák és intelligens ügynökök. A neurokollektívákban az emberek ráhangolásával, a mesterséges élmény megteremtésével válik lehetővé a közvetlen tapasztalatátadás. A Neuronet segít az egyéni és csoportos konfliktusok megoldásában [78] .

Negyedik szakasz (2040 után)

A Neuronet a kommunikáció teljes területét lefedi [79] .

Infrastruktúra országonként

Egyesült Államok

Az amerikai Nemzeti Tudományos Alapítvány még 2001-ben terjesztette elő az ún. NBIC kezdeményezés , melynek egyik célja a személy fejlesztése volt [80] . A későbbi projektek lépések voltak a megvalósítás felé. 2008-ban a DARPA elindította a SyNAPSE (Systems of Neuromorphic Adaptive Plastic Scalable Electronics) programot 5 év alatt 106 millió dollár értékben, amelynek célja a neuromorf technológiák skálázása.az élőlények szintjére. A programban olyan számítástechnikai óriások vettek részt, mint az IBM (az IBM Research egyik részlege ) és a Microsoft . 2010-2015- ben 100 millió dolláros költségvetéssel valósult meg a Human Connectome Project , melynek feladata az emberi agyi neuronok kapcsolatainak térképének felépítése volt. 2011-ben a National Institutes of Health 16 000 idegtudományi ösztöndíjat finanszírozott összesen 5,55 milliárd dollár értékben [81].

2014-ben a DARPA részeként megalakult egy biotechnológiai osztály, és a 2014-2024 közötti időszakra meghirdették a BRAIN Initiative nevű kormányzati projektet , amelynek költsége évi 300 millió dollár lesz [81] . A legújabb projekt célja az emberi agy megértése, új módszerek felkutatása a neurodegeneratív betegségek (például Alzheimer-kór , epilepszia és agysérülés ) kezelésére és megelőzésére. A program nemcsak előadóként (mint például a Google X ), hanem a költekezésben is biztosítja a magánszektor részvételét . Így a magánalapítványok a következő ígéreteket tettek [82] :

  • Az Allen Institute for Brain Science évente 60 millió dollárt biztosít az észleléshez és döntéshozatalhoz vezető agyi tevékenység kutatására;
  • Howard Hughes Medical Institute  – 30 millió dollár új technológiák fejlesztésére az információ neurális hálózatokban való tárolásának és feldolgozásának megjelenítésére és megértésére;
  • Salk Institute for Biological Studies  – 28 millió dollár az agy mély megértésének fejlesztésére, az egyes génektől a neurális hálózatokig és a viselkedésig;
  • Kavli Alapítvány  – évi 4 millió dollár a fogyatékosságot okozó betegségek és állapotok kezelésével kapcsolatos ismeretek bővítésére.

Európa

Az európai projektek reakcióvá váltak az amerikai NBIC kezdeményezésre. Ugyanakkor Európát érdeklik a gerontológia kilátásai az agykutatásban , mert 2050-re a 65 év feletti lakosság 28%-a várható az öreg kontinensen. Az első, amely 2005-ben indult, a Lausanne-i Szövetségi Politechnikai Iskola és az IBM közös projektje, a Blue Brain Project volt, amelyet az emberi neokortex számítógépes modellezésére szenteltek [83] . Az EU -ban jelenleg is zajlik egy projekt az ember-számítógép interakciós kutatás kulcsfontosságú résztvevői közötti koordinációra, a BNCI Horizont 2020-ra, amely a 2010-2011-ben végrehajtott FutureBNCI-t váltja fel [84] . Ezt követően az Európai Unió saját , 1,2 milliárd eurós Human Brain Projectet valósít meg, amely a FET Flagships program része . Finanszírozását az EU nyolcadik tudományos kutatás- és technológiafejlesztési keretprogramja (2014-2020) [85] biztosítja . [86] .

A Twente Egyetemen ( Hollandia ) egy konzorcium dolgozik azon , hogy a neuromuszkuláris szinapszis mesterséges analógját hozza létre az ember és az exoskeleton interakcióhoz. A Berlini Szabadegyetem Biorobotikai Laboratóriuma biomimetikával foglalkozik – a tudósok kígyók , giliszták , halak  „modelljei” alapján hoznak létre robotokat , és robotrajokat programoznak a méhek modelljei szerint [87] .

Ázsia

Keleten a legnagyobb kutatási projektek a 10 éves Japanese Brain/MINDS Project és az 5 éves Chinese China Brain Project (amelyet a Wuhan Egyetem végez, Hugo De Garis vett részt benne ) [88] . 1999 óta több mint 50 projektet támogattak Kínában az agy és diszfunkcióinak tanulmányozása irányába, 2010-ben pedig megfogalmazódott a "Brainnetome" koncepciója, amely az agy neurális hálózatainak tanulmányozásának 5 területére terjed ki: azonosítás; dinamika és jellemzők; funkcionalitás és diszfunkció; genetikai alapok; utánzás és modellezés. 2011-ben indult útjára az érzelmek és emlékezet idegi áramköreinek kutatási terve, amelynek költségvetése 200 millió RMB 8 évre szól. A Kínai Tudományos Akadémia 2012-ben hagyta jóvá a „Funkcionális Connectome Project” stratégiai prioritású kutatási programot 300 millió jüan értékben 5 évre (5-10 éves meghosszabbítási lehetőséggel). A program célja egy funkcionális atlasz összeállítása az agyi neurális hálózatokról az észlelés, a memória, az érzelmek számára, valamint ezek károsodásának vizsgálata [89] .

2013 márciusában közös kínai-ausztrál projekt indult egy új generációs agyatlasz "Brainnetome Atlas" létrehozására, amely az Automatizálási Intézet ( Peking ) és a Queensland Brain Institute ( Queenslandi Egyetem , Brisbane ) kutatócsoportjait alkalmazza [90 ] . Két évvel később a "China Brain" nevű mesterséges intelligencia technológiai kezdeményezést javasolta a Baidu keresőmotor vezetője , Robin Li . Úgy véli, hogy ennek egy olyan kormányzati programnak kell lennie, mint az amerikai Apollónak . A kezdeményezés olyan területekre fog összpontosítani, mint az ember-gép interakció, Big Data, autonóm járművek, intelligens orvosi diagnosztika, pilóta nélküli légi járművek, harci robotok [91] .

Oroszország

2009-ben Oroszország bejelentette egy ilyen innovációmenedzsment-eszköz létrehozását az állam, az üzleti élet és a tudomány, mint technológiai platformok interakciójában [92] . A 27 technológiai platformot tartalmazó első listát a csúcstechnológiákkal és innovációkkal foglalkozó kormánybizottság 2011. áprilisi határozatával hagyta jóvá [93] . A technológiai platformok között szerepelt a „Jövő Gyógyszere” is, amelynek keretében elkészült a „Neurotechnológiák” nyilvános elemző jelentés [94] . A jelentés arra a következtetésre jutott, hogy szükséges az agy mint szerkezet, szerv és funkció tanulmányozása [32] .

2014 januárjában az Orosz Föderáció miniszterelnöke jóváhagyta az Orosz Oktatási és Tudományos Minisztérium által a 2030-ig tartó időszakra vonatkozó tudományos és technológiai fejlődés előrejelzését . Az orvostudomány és az egészségügy ígéretes tudományos kutatási területei között szerepelt az előrejelzésben a sejtek mesterséges rendszerekkel való kölcsönhatására szolgáló kontakteszközök; integrált elektronikus vezérlőeszközök a test aktuális állapotának megfigyelésére, beleértve a távolról is; rendszerek a belső szerkezet ultra-nagy felbontású megjelenítésére [95] . Egy hónappal később 16 kiemelt tudományos feladatot tartalmazó lista készült, köztük az „Agy: kognitív funkciók, neurodegeneráció mechanizmusai, molekuláris célpontok a korai diagnózishoz és kezeléshez” című feladattal. A feladat teljesítésének várható eredményei között szerepel agy-számítógép interfészek létrehozása, irányított agystimulációval végzett robot- és számítógép-közvetített neurorehabilitációs módszerek, valamint egy exoskeleton kifejlesztése [96] . A feladatot Mikhail Ugryumov akadémikus , az Orosz Tudományos Akadémia Fejlődésbiológiai Intézete Ideg- és Neuroendokrin Szabályozási Laboratóriumának vezetője koordinálja [32] .

Mint fentebb említettük, 2015-ben a Neuronet a Nemzeti Technológiai Kezdeményezés kiemelt piacai közé került . Az NTI kialakításának elsődleges eszköze az előrelátás . A foresight módszertan azt jelenti, hogy a jövő nem előre meghatározott, és a jelenben való választásunktól függ. A jövő befolyásolásához össze kell szedni a fejlesztési alanyokat [97] . Az előrejelzésekre tehát nem annyira az előrejelzés készítéséhez van szükség, hanem ahhoz, hogy résztvevőik közös viselkedési stratégiáját alakítsák ki, vagyis a fejlesztés tárgyát képezzék [11] . Az előrelátásnak elképzelést kell alkotnia arról, hogy milyen kereskedelmi termékeknek kell megjelenniük az új technológiák alapján. Ezt követően érdeklődőknek kell lenniük az ilyen termékek létrehozásának lehetőségében. Végül ezeknek a személyeknek meg kell kérniük a tudósokat arról, hogy milyen technológiai akadályokat kell megszüntetni a szükséges kereskedelmi termékek létrehozása érdekében [32] . Szervezetileg a jövőbeni fejlesztési alanyok NTI munkacsoportokként formálódnak. A Neuronet piaccal foglalkozó munkacsoportot Andrej Ivascsenko , a ChemRar High Technologies Központ igazgatótanácsának elnöke vezette . Emellett alcsoportokat hoztak létre a neurointerfészekről (amelyet a Neuromatics vállalat vezetője, Vladimir Statut vezet), a neurofiziológiát (már említettük Maxim Patrushev ), a neuroszemantikát ( a Moszkvai Műszaki Intézet első rektorhelyettese , Jevgenyij Pluzsnik) [98 ] ] .

Jelenleg a neurokommunikációval kapcsolatos kutatásokat a következő kutatóközpontok végzik: Az Orosz Tudományos Akadémia Magasabb Idegi Aktivitási és Neurofiziológiai Intézete ( G. A. Ivanitsky és A. A. Frolov ), Orosz Tudományos Akadémia Orvosi és Biológiai Problémái Intézete , Intézet N. P. Bekhtereva Orosz Tudományos Akadémia , I. M. Sechenov Evolúciós Fiziológiai és Biokémiai Intézet RAS , A "Kurchatov Intézet" Nemzeti Kutatóközpont NBICS Központja, az Orosz Orvostudományi Akadémia Neurológiai Tudományos Központja , Kutatás Az Orosz Orvostudományi Akadémia Szibériai Kirendeltségének Molekuláris Biológiai és Biofizikai Intézete, Moszkvai Állami Egyetem Neurofiziológiai és Neurokomputerinterfészek Laboratóriuma ( A. Ya. Kaplan ), A. B. Kogan Neurokibernetikai Kutatóintézet a Déli Szövetségi Egyetemen (B. M. Vladimirsky) és V. N. Kiroy ), ITMO Egyetem Virtuális Valóság Neurofiziológiai Laboratóriuma (Yu. E. Shelepin), Neuroimitáló Információs Rendszerek és Neurodinamikai Laboratórium » N. I. Lobacsevszkijről elnevezett Nyizsnyij Novgorod Állami Egyetem , I. S. Bruk Elektronikus Vezérlőgépek Intézete [99 ] [100] . Külön meg kell említeni a folyamatban lévő NeuroG projekteket , amelyek a mintafelismerő non-invazív eszközök fejlesztésével foglalkoznak [30] , és az agy reverse engineering -ét , amelyet a Russia 2045 mozgalom csapata ( V. L. Dunin-Barkovsky ) végzett [101 ]. ] .

Kockázatok

A technofóbia a modern kultúra, így a mozi szerves része [102] . A neurokommunikációs technológiák sem kerülték el a kritikát, amely a következő lehetséges problémákra összpontosít:

A kritikusoknak adott válasz azon az elgondoláson alapul, hogy az ember nemcsak az, ami most, hanem az is, amilyen lehet. Például hivatkozhatunk a csoportos pszichoterápia gyakorlatára , és különösen Kurt Lewin írásaira , aki a személyiségzavarokat a más emberekkel és a társadalmi környezettel fennálló megzavart kapcsolatok eredményeként és megnyilvánulásának tekintette. Levin úgy vélte, hogy a leghatékonyabb változások a csoportos interakcióban következnek be, és a Neuronet csak egy kommunikációs környezet, amelyben az észlelés akadályai megszűnnek [107] . Különösen nem zárható ki, hogy a Neuronet kialakulása olyan társadalmi változásokhoz vezet, amelyek csökkentik a hangoztatott kockázatokat [108] .

Jegyzetek

  1. Ashby W. Bevezetés a kibernetikába = Bevezetés a kibernetikába. — 2. kiadás. - London: Chapman & Hall , 1957. - P. 271-272. — 295 p.
  2. Licklider, J. Man -Computer Symbiosis  //  IRE Transactions on Human Factors in Electronics: Journal. - IRE , 1960. - március ( HFE-1 köt. ). - P. 4-11 .
  3. Engelbart D. Az emberi értelem fokozása: fogalmi keret . SRI projekt sz. 3578  (angol) (pdf) . SRI International (1962. október) .  - Összegző jelentés. Letöltve: 2015. szeptember 17. Az eredetiből archiválva : 2021. január 28..
  4. Vidal J. A  közvetlen agy-számítógép kommunikáció felé //  Annual Review of Biophysics and Bioengineering  : Journal. - Annual Reviews , 1973. - Vol. 2 . - 157-180 . o . — ISSN 1936-122X .
  5. Neurális interfészek: a fotópapírtól a neuroporig . Hackspace Neuron cég blogja . Habrahabr (2015. június 3.). Letöltve: 2015. szeptember 14. Az eredetiből archiválva : 2015. szeptember 5..
  6. Neurotechnológiák, 2014 , p. 17.
  7. Dubrovsky, 2013 , p. 220.
  8. Jones Ch. B. Törékeny   és gyenge elme: Kihívások a feltörekvő globális tudattal szemben // Journal of Futures Studies  : folyóirat. - Taipei, Tajvan: Tamkang University , 2006. - május ( 10. kötet , 4. szám ). — 6. o . — ISSN 1027-6084 . Archiválva az eredetiből 2012. április 1-jén.
  9. Turchin V.F. , Joslin K. Kibernetikai kiáltvány // A tudomány jelensége: Az evolúció kibernetikai megközelítése . - 2. kiadás — M. : ETS, 2000. — 368 p. — ISBN 5-93386-019-0 .
  10. Kyriazis M. Fókuszban a neurológia rendszerei: az emberi agytól a globálisig?  (eng.)  = Fókuszban a rendszer-idegtudomány: az emberi agytól a globális agyig? // Frontiers in Systems Neuroscience : Journal. – Lausanne, Svájc, 2015. – 1. évf. 9 . - doi : 10.3389/fnsys.2015.00007 .
  11. 1 2 3 4 5 Tulinov, 2015 .
  12. Heylighen F. Conceptions of a Global Brain: An Historical Review // Evolution : Cosmic, Biological, and Social / Szerk. L. Grinin et al. - Volgograd: Uchitel, 2011. - P. 281-283. — 296 p. — ISBN 978-5-7057-2784-1 .
  13. Nicolelis M. 13. Vissza a csillagokhoz // Túl a határokon: az agy és a gépek összekapcsolásának új idegtudománya – és hogyan fogja megváltoztatni az életünket. — 1. kiad. - N. Y .: Times Books , 2011. - 353 p. — ISBN 978-1250002617 .
  14. 1 2 Pais-Vieira M. et al. Szerves számítástechnikai eszköz építése több összekapcsolt aggyal  (angol)  // Scientific Reports  : Journal. — London: Nature Publishing Group , 2015. — július 9. ( 5. sz.). — ISSN 2045-2322 . - doi : 10.1038/srep11869 .
  15. Megközelítések, 2015 , p. 33.
  16. Wang, Brian L. AI, robotika és érzékelők mindenhol idővonal  (angolul) , Next Big Future (2012. augusztus 15.). Az eredetiből archiválva : 2015. szeptember 19. Letöltve: 2015. szeptember 16.
  17. Wang, Brian L. A Google mesterséges intelligenciát fejleszt egy macska azonosítására , Next Big Future  ( 2012. június 26.). Az eredetiből archiválva : 2015. szeptember 16. Letöltve: 2015. szeptember 16.
  18. Ross R. Russian milliomos a mesterséges intelligenciát a következő szintre emeli  (angol)  = Russian milliomos a mesterséges intelligenciát a következő szintre emeli // Newsweek  : magazin. - 2015. - április 18. — ISSN 0028-9604 .
  19. Schukin, 2014 , p. 66.
  20. 1 2 Morov, 2014 , p. 73.
  21. Samakhova I. Saga az előrelátásról . Polit.ru (2012. november 1.). Letöltve: 2015. október 15. Az eredetiből archiválva : 2015. október 25.
  22. Konsztantyinov A. Az agy az autóból  // Orosz riporter  : magazin. - M. , 2013. - március 20. ( 11. szám (289) ).
  23. Kurzweil, 2005 .
  24. Ambrosio J. Kurzweil   : Az agy a felhőig terjed // Computerworld :  Journal. - Framingham, Massachusetts: International Data Corporation , 2012. - október 3. — ISSN 0010-4841 .
  25. Yasinovskaya E. Ahol a jövő lebeg . STRF.ru ​​(2013. augusztus 14.). Letöltve: 2015. szeptember 17. Az eredetiből archiválva : 2015. október 6..
  26. Tarasevics G., Konsztantyinov A. Holnap nincs szükség iskolára  // Orosz riporter  : folyóirat. - M. , 2013. - augusztus 29. ( 34. (312) szám ).
  27. Sobolevskaya O. Az egyetemi diplomát felváltja a képesítési útlevél . OPEC.ru. _ Közgazdasági Felsőiskola (2013. október 21.). Letöltve: 2015. szeptember 14. Az eredetiből archiválva : 2015. október 5..
  28. A világ vezető szakértői az idegtudományok és a neurotechnológiák jövőjéről vitatkoztak az RVC szemináriumán . Sajtóközlemény . Russian Venture Company (2014. október 21.) . Letöltve: 2015. szeptember 14. Az eredetiből archiválva : 2015. szeptember 25.
  29. 1 2 3 4 5 Mitin, 2014 .
  30. 1 2 3 4 5 6 7 Gubailovsky, 2014 .
  31. Megközelítések, 2015 .
  32. 1 2 3 4 5 6 Ponarina, 2015 .
  33. Konsztantyinov A. Szálljon be a jövőbe  // Orosz riporter  : magazin. - M. , 2015. - június 11.
  34. Noskova E. Nem létező vállalkozás  // Rossiyskaya gazeta  : újság. - M. , 2015. - július 8.
  35. 1 2 Mamontov D. Képben és hasonlatban  // Popular Mechanics  : Journal. - 2014. - december ( 146. sz.).
  36. Dubrovsky, 2013 , p. 179, 255-262.
  37. Dubrovsky, 2013 , p. 186.
  38. Zherebina E. A. A nyelvi szkepticizmus problémája a korai modernizmus nyelvfilozófiájában  // Proceedings of the Russian State Pedagogical University named after A. I. Herzen: Journal. - M . : A. I. Herzen nevéhez fűződő RSPU , 2014. - Szám . 169 . - S. 70-77 . — ISSN 1992-6464 .
  39. Neurotechnológiák, 2014 , p. 5-6, 70.
  40. Dubrovsky, 2013 , p. 102, 259.
  41. Dubrovsky, 2013 , p. 235.
  42. Megközelítések, 2015 , p. 17.
  43. Dubrovsky, 2013 , p. 109-112, 191, 221.
  44. Morov, 2014 , p. 85.
  45. Dubrovsky, 2013 , p. 71, 94.
  46. Dubrovsky, 2013 , p. 254.
  47. Dubrovsky, 2013 , p. 187, 240-243.
  48. Morov, 2014 , p. 36.
  49. Dubrovsky, 2013 , p. 164-165.
  50. Dubrovsky, 2013 , p. 243-244.
  51. Dubrovsky, 2013 , p. 214, 220.
  52. LJ-szerzőailev  ≡ Levenchuk AI Erős és gyenge neuronet . LiveJournal (2013. november 26.). Letöltve: 2015. október 12.
  53. Dubrovsky, 2013 , p. 222.
  54. Megközelítések, 2015 , p. 47-50.
  55. Dubrovsky, 2013 , p. 121-123, 132.
  56. Dubrovsky, 2013 , p. 223.
  57. Dubrovsky, 2013 , p. 167.
  58. Dubrovsky, 2013 , p. 126, 139, 246.
  59. Megközelítések, 2015 , p. 55.
  60. 1 2 Krakovetsky, 2015 .
  61. Chekletsov V.V. Komplex szociotechnikai rendszerek dinamikusan megjelenő interfészei  // Az információs technológia és a kibertér filozófiai problémái: folyóirat. - Pjatigorszk, 2015. - 1. sz . - S. 77 . — ISSN 2305-3763 . doi : 10.17726 /philIT.2015.9.1.1.18 .
  62. Megközelítések, 2015 , p. tíz.
  63. Morov, 2014 , p. 75, 79.
  64. Kurzweil, 2014 .
  65. Morov, 2014 , p. 71.
  66. Megközelítések, 2015 , p. ötven.
  67. Megközelítések, 2015 , p. 4, 50-52.
  68. Megközelítések, 2015 , p. tizennyolc.
  69. Megközelítések, 2015 , p. 9, 12, 22-23, 29-30.
  70. Megközelítések, 2015 , p. 14-16, 37.
  71. Megközelítések, 2015 , p. 16, 26-28, 35.
  72. Megközelítések, 2015 , p. 3, 53-55.
  73. Megközelítések, 2015 , p. 14-18, 22, 29-36.
  74. Megközelítések, 2015 , p. 12, 23, 36-37.
  75. Megközelítések, 2015 , p. 9, 26, 53-55.
  76. Megközelítések, 2015 , p. 4, 56-57.
  77. Megközelítések, 2015 , p. 14-18, 23, 36.
  78. Megközelítések, 2015 , p. 10, 13, 26, 28, 31, 37.
  79. Megközelítések, 2015 , p. 4, 50, 57.
  80. Dubrovsky, 2013 , p. 96.
  81. 1 2 Approaches, 2015 , p. 41-42.
  82. Neurotechnológiák, 2014 , p. 32-35.
  83. Dubrovsky, 2013 , p. 101-102, 150, 218.
  84. Megközelítések, 2015 , p. 41.
  85. Megközelítések, 2015 , p. 42.
  86. Neurotechnológiák, 2014 , p. 31, 36-37, 250.
  87. Megközelítések, 2015 , p. 38.
  88. Megközelítések, 2015 , p. 12, 42.
  89. Neurotechnológiák, 2014 , p. 31, 35-36.
  90. Neurotechnológiák, 2014 , p. 36.
  91. Perez B. "Kína agy" projekt katonai finanszírozást keres, miközben a Baidu mesterséges intelligencia terveket készít  (angol)  // South China Morning Post  : újság. - Hong Kong, 2015. - március 3.
  92. Morgunova E. Lépj be a formátumba. A szakértők technológiai platformokat próbálnak dokkolni a meglévő tudományos és technológiai támogatási rendszerrel  // POISK : újság. - M. : RAN , 2011. - március 18. ( 10-11. sz. ). Az eredetiből archiválva: 2016. március 5.
  93. Mayer B. O. „Oktatás” technológiai platform: ontológiai elemzés  // A Novoszibirszki Állami Pedagógiai Egyetem közleménye: folyóirat. - Novoszibirszk, 2012. - T. 6 , 2. sz . - S. 36-37 . — ISSN 2226-3365 .
  94. Neurotechnológia, 2014 .
  95. Dmitrij Medvegyev jóváhagyta az Orosz Föderáció tudományos és technológiai fejlődésének 2030-ig tartó időszakra vonatkozó előrejelzését, amelyet az Orosz Oktatási és Tudományos Minisztérium készített . Az Orosz Föderáció kormánya (2014. január 20.). Letöltve: 2015. szeptember 24. Az eredetiből archiválva : 2015. szeptember 25.
  96. Kiemelt tudományos feladatokról, amelyek megoldásához szükség van a szövetségi központok lehetőségeinek igénybevételére a tudományos berendezések kollektív használatára . Megrendelések és végrehajtásuk . Az Orosz Föderáció kormánya (2014. február 8.) . Letöltve: 2015. szeptember 24. Az eredetiből archiválva : 2015. szeptember 25.
  97. Dubrovsky, 2013 , p. 53-54, 74-76.
  98. A Neuronet a legfuturisztikusabb Foresight Fleet 2015 munkacsoport, amely a legnagyobb érdeklődést váltja ki . Orosz kockázati társaság . Facebook (2015. május 19.). Letöltve: 2015. szeptember 15.
  99. Neurotechnológiák, 2014 , p. 19, 43-44, 48-49.
  100. Megközelítések, 2015 , p. 34, 42-46.
  101. Dubrovsky, 2013 , p. 150-157.
  102. Bettridge D. Miért, Robot? A hollywoodi technofóbia 80 éve  (angolul)  // The Week  : magazin. - 2014. - július 25. — ISSN 1533-8304 .
  103. Dorrier J. A bűnözés jövője: Smartphone Tracking, Neurohacking és AI Assisted Murder  // Forbes  : Journal  . - Jersey City, 2015. - február 15. — ISSN 0015-6914 .
  104. Morov, 2014 , p. 74.
  105. 1 2 Dubrovsky, 2013 , p. 68.
  106. Dubrovsky, 2013 , p. 69, 234-235.
  107. Morov, 2014 , p. 86.
  108. Dubrovsky, 2013 , p. 224-225.

Irodalom

Javasolt olvasmány

Linkek