Papers
Topics
Authors
Recent
2000 character limit reached

Analogue and Physical Reservoir Computing Using Water Waves (2306.09095v1)

Published 15 Jun 2023 in physics.flu-dyn, cs.AI, nlin.CD, and nlin.PS

Abstract: More than 3.5 billion people live in rural areas, where water and water energy resources play an important role in ensuring sustainable and productive rural economies. This article reviews and critically analyses the recent advances in the field of analogue and reservoir computing that have been driven by unique physical properties and energy of water waves. It also demonstrates that analogue and reservoir computing hold the potential to bring artificial intelligence closer to people living outside large cities, thus enabling them to enjoy the benefits of novel technologies that already work in large cities but are not readily available and suitable for regional communities.

Definition Search Book Streamline Icon: https://streamlinehq.com
References (99)
  1. R. Puccetti, On thinking machines and feeling machines, Brit. J. Phil. Sci. 18, 39 (1967).
  2. T. M. Mitchell, Machine Learning (McGraw Hill, New York, 1997).
  3. A. Schubbach, Judging machines: philosophical aspects of deep learning, Synthese 198, 1807 (2021).
  4. A. S. Weigend, Time Series Prediction: Forecasting The Future And Understanding The Past (Westview Press, Reading, 1993).
  5. R. H. Shumway and D. S. Stoffer, Time Series Analysis and Its Applications (Springer, Berlin, 2017).
  6. S. Haykin, Neural Networks: A Comprehensive Foundation (Pearson-Prentice Hall, Singapore, 1998).
  7. M. Marcellino, J. H. Stock, and M. W. Watson, A comparison of direct and iterated multistep ar methods for forecasting macroeconomic time series, J. Econom. 135, 499 (2006).
  8. B. Plackett, The rural areas missing out on ai opportunities, Nature 610, 517 (2022).
  9. M. Lukoševičius and H. Jaeger, Reservoir computing approaches to recurrent neural network training, Comput. Sci. Rev. 3, 127 (2009).
  10. K. Nakajima and I. Fisher, Reservoir Computing (Springer, Berlin, 2021).
  11. K. G. Kirby, Context dynamics in neural sequential learning, Proc. Florida AI Research Symposium (FLAIRS) , 66 (1991).
  12. W. Maass, T. Natschläger, and H. Markram, Real-time computing without stable states: a new framework for neural computation based on perturbations, Neural Comput. 14, 2531 (2002).
  13. W. Maass and H. Markram, On the computational power of recurrent circuits of spiking neurons, J. Comput. Syst. Sci. 69, 593 (2004).
  14. H. Jaeger, A tutorial on training recurrent neural networks, covering BPPT, RTRL, EKF and the “echo state network” approach (GMD Report 159, German National Research Center for Information Technology, 2005).
  15. L. Schomaker, Simulation and Recognition of Handwriting Movements: A vertical approach to modeling human motor behavior (PhD Thesis, Nijmeegs Instituut voor Cognitie-onderzoek en Informatietechnologie, 1991).
  16. E. Bollt, On explaining the surprising success of reservoir computing forecaster of chaos? the universal machine learning dynamical system with contrast to VAR and DMD, Chaos 31, 013108 (2021).
  17. J. I. Raji and C. J. Potter, The number of neurons in Drosophila and mosquito brains, PLOS ONE 16, 1 (2021).
  18. C. Gallicchio, A. Micheli, and L. Pedrelli, Deep reservoir computing: A critical experimental analysis, Neurocomputing 268, 87 (2017).
  19. K. Nakajima, Physical reservoir computing–an introductory perspective, Jpn. J. Appl. Phys. 59, 060501 (2020).
  20. I. S. Maksymov, A. Pototsky, and S. A. Suslov, Neural echo state network using oscillations of gas bubbles in water, Phys. Rev. E 105, 044206 (2021).
  21. D. E. Hyndman, Analog and Hybrid Computing (Pergamon Press, Oxford, 1970).
  22. F. Zangeneh-Nejad and R. Fleury, Performing mathematical operations using high-index acoustic metamaterials, New J. Phys. 20, 073001 (2018).
  23. S. Watt and M. Kostylev, Reservoir computing using a spin-wave delay-line active-ring resonator based on yttrium-iron-garnet film, Phys. Rev. Appl. 13, 034057 (2020).
  24. K. Fujii and K. Nakajima, Harnessing disordered-ensemble quantum dynamics for machine learning, Phys. Rev. Appl. 8, 024030 (2017).
  25. B. Penkovsky, L. Larger, and D. Brunne, Efficient design of hardware-enabled reservoir computing in FPGAs, J. Appl. Phys. 124, 162101 (2018).
  26. M. Sorokina, Multidimensional fiber echo state network analogue, J. Phys. Photonics 2, 044006 (2020).
  27. N. A. Silva, T. D. Ferreira, and A. Guerreiro, Reservoir computing with solitons, New J. Phys. 23, 023013 (2021).
  28. A. V. Pankov, I. D. Vatnik, and A. A. Sukhorukov, Optical neural network based on synthetic nonlinear photonic lattices, Phys. Rev. Applied 17, 024011 (2022).
  29. Y. K. Chembo, Machine learning based on reservoir computing with time-delayed optoelectronic and photonic systems, Chaos 30, 013111 (2020).
  30. J. C. Coulombe, M. C. A. York, and J. Sylvestre, Computing with networks of nonlinear mechanical oscillators, PLoS ONE 12, e0178663 (2017).
  31. F. Lillo and R. N. Mantegna, Variety and volatility in financial markets, Phys. Rev. E 62, 6126 (2000).
  32. O. Peters and W. Klein, Ergodicity breaking in geometric brownian motion, Phys. Rev. Lett. 110, 100603 (2013).
  33. V. A. Nastasiuk, Emergent quantum mechanics of finances, Phys. A: Stat. Mech. Appl. 403, 148 (2014).
  34. K. Nakajima and T. Aoyagi, The memory capacity of a physical liquid state machine, IEICE Tech. Rep. 115, 109 (2015).
  35. K. Goto, K. Nakajima, and H. Notsu, Twin vortex computer in fluid flow, N. J. Phys. 23, 063051 (2021).
  36. H. Jaeger, Short term memory in echo state networks (GMD Report 152, German National Research Center for Information Technology, 2001).
  37. W. Maass, T. Natschläger, and H. Markram, Computational models for generic cortical microcircuits, in Computational Neuroscience, edited by J. Feng and J. Feng (Chapman and Hall/CRC, New York, 2003) p. Ch. 18.
  38. H. Jaeger and H. Haas, Harnessing nonlinearity: Predicting chaotic systems and saving energy in wireless communication, Science 304, 78 (2004).
  39. L. P. J. Veelenturf, Analysis and Applications of Artificial Neural Networks (Prentice Hall, London, 1995).
  40. A. I. Galushkin, Neural Networks Theory (Springer, Berlin, 2007).
  41. N. Bertschinger and T. Natschläger, Real-time computation at the edge of chaos in recurrent neural networks, Neural Comput. 16, 1413 (2004).
  42. M. C. Mackey and L. Glass, Oscillation and chaos in physiological control systems, Science 197, 287 (1977).
  43. E. N. Lorenz, Deterministic nonperiodic flow, J. Atmos. Sci.. 20, 130 (1963).
  44. O. E. Rössler, An equation for continuous chaos, Phys. Lett. 57A, 397 (1976).
  45. M. Hénon, A two-dimensional mapping with a strange attractor, Commun. Math. Phys. 50, 69 (1976).
  46. K. Ikeda, Multiple-valued stationary state and its instability of the transmitted light by a ring cavity system, Opt. Commun. 30, 257 (1979).
  47. M. Lukoševičius and A. Uselis, Efficient implementations of Echo State Network cross‐validation, Cogn. Comput. 10.1007/s12559-021-09849-2 (2021).
  48. M. Sorokina, S. Sergeev, and S. Turitsyn, Fiber echo state network analogue for high-bandwidth dual-quadrature signal processing, Opt. Express 27, 2387 (2019).
  49. J. van Veen, Analogy between tides and AC electricity, The Engineer 20, 498 (1947).
  50. S. Ishiguro, Progress Report on the Development of an Analogue Computer for Long-wave Propagation Problems (National Institute of Oceanography, UK, 1957).
  51. B. Ulmann, Analog and Hybrid Computer Programming (De Gruyter Oldenbourg, Berlin, 2020).
  52. S. Achour, R. Sarpeshkar, and M. C. Rinard, Configuration synthesis for programmable analog devices with Arco, SIGPLAN Not. 51, 177 (2016).
  53. S. Köppel, A. Krause, and B. Ulmann, Analog computing for molecular dynamics (2021), arXiv:2107.06283 [physics.comp-ph] .
  54. B. Ulmann, S. Köppel, and D. Killat, Open hardware analog computer for education – design and application, in 2021 Kleinheubach Conference (2021) pp. 1–2.
  55. M. Remoissenet, Waves Called Solitons: Concepts and Experiments (Springer, 1994).
  56. P. A. Madsen, D. R. Fuhrman, and H. A. Schäffer, On the solitary wave paradigm for tsunamis, J. Geophys. Res. 113, C12012 (2008).
  57. I. S. Maksymov, Perspective: strong microwave photon-magnon coupling in multiresonant dielectric antennas, J. Appl. Phys. 124, 150901 (2018).
  58. I. S. Maksymov and A. D. Greentree, Coupling light and sound: giant nonlinearities from oscillating bubbles and droplets, Nanophotonics 8, 367 (2019).
  59. C. E. Brennen, Cavitation and Bubble Dynamics (Oxford University Press, New York, 1995).
  60. W. Lauterborn and T. Kurz, Physics of bubble oscillations, Rep. Prog. Phys. 73, 106501 (2010).
  61. B. Q. H. Nguyen, I. S. Maksymov, and S. A. Suslov, Acoustic frequency combs using gas bubble cluster oscillations in liquids: a proof of concept, Sci. Reps. 11, 38 (2021).
  62. I. S. Maksymov, B. Q. H. Nguyen, and S. A. Suslov, Biomechanical sensing using gas bubbles oscillations in liquids and adjacent technologies: Theory and practical applications, Biosensors 12, 624 (2022a).
  63. M. Minnaert, On musical air-bubbles and the sound of running water, Phil. Mag. 16, 235 (1933).
  64. M. Raissi, P. Perdikaris, and G. E. Karniadakis, Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations, J. Comput. Phys. 378, 686 (2019).
  65. N. A. K. Doan, W. Polifke, and L. Magri, Physics-informed echo state networks, J. Comput. Sci. 47, 101237 (2020).
  66. N. A. K. Doan, W. Polifke, and L. Magri, Short- and long-term predictions of chaotic flows and extreme events: a physics-constrained reservoir computing approach, Proc. R. Soc. A 477, 20210135 (2021).
  67. T. Natschläger, W. Maass, and H. Markram, The “Liquid Computer”: a novel strategy for real-time computing on time series, TELEMATIK 8, 39 (2002).
  68. G. Tononi, G. M. Edelman, and O. Sporns, Complexity and coherency: integrating information in the brain, Trends Cogn. Sci. 2, 474 (1998).
  69. I. Maksymov and A. Pototsky, Harmonic and subharmonic waves on the surface of a vibrated liquid drop, Phys. Rev. E 100, 053106 (2019).
  70. S. Ganguli, D. Huh, and H. Sompolinsky, Memory traces in dynamical systems, PNAS 105, 18970 (2008).
  71. T. Kubota, H. Takahashi, and K. Nakajima, Unifying framework for information processing in stochastically driven dynamical systems, Phys. Rev. Research 3, 043135 (2021).
  72. Y. A. Kosevich, Nonlinear sinusoidal waves and their superposition in anharmonic lattices, Phys. Rev. Lett. 71, 2058 (1993).
  73. I. S. Maksymov, Musical creativity enabled by nonlinear oscillations of a bubble in water, arXiv preprint arXiv:2304.00822  (2023).
  74. G. Marcucci, P. Caramazza, and S. Shrivastava, A new paradigm of reservoir computing exploiting hydrodynamics, arXiv 2302.01978 (2020b).
  75. J. Jiang and Y.-C. Lai, Model-free prediction of spatiotemporal dynamical systems with recurrent neural networks: Role of network spectral radius, Phys. Rev. Research 1, 033056 (2019).
  76. Y. S. Kivshar and G. P. Agrawal, Optical Solitons: From Fibers to Photonic Crystals (Academic Press, New York, 2003).
  77. D. J. Korteweg and G. De Vries, On the change of form of long waves advancing in a rectangular canal, and on a new type of long stationary waves, Philos. Mag. 39, 422 (1895).
  78. X. Li, D. Ricketts, and D. Ham, Solitons and Nonlinear Wave Electronics (CRC Press, 2009).
  79. T. Heimburg and A. D. Jackson, On soliton propagation in biomembranes and nerves, PNAS 102, 9790 (2005).
  80. H.-C. Chang, Wave evolution of a falling film, Annu. Rev. Fluid Mech. 26, 103 (1994).
  81. P. L. Kapitza and S. P. Kapitza, Wave flow of thin liquid layers of fluid, Zh. Eksp. Teor. Fiz. 19, 105 (1949).
  82. C. Yih, Stability of liquid flow down an inclined plane, Phys. Fluids 6, 321 (1963).
  83. D. J. Benney, Long waves on liquid films, J. Math. Physics 45, 150 (1966).
  84. M. Esmail and V. Shkadov, Nonlinear theory of waves in a viscous liquid layer, Fluid Dyn. 6, 599 (1971).
  85. C. Nakaya, Long waves on a thin fluid layer flowing down an inclined plane, Phys. Fluids 18, 1407 (1975).
  86. S. V. Alekseenko, V. E. Nakoryakov, and B. G. Pokusaev, Wave formation on vertical falling liquid films, Int. J. Multiph. Flow 11, 607 (1985).
  87. Y. Y. Trifonov and O. Y. Tsvelodub, Nonlinear waves on the surface of a falling liquid film. part 1. waves of the first family and their stability, J. Fluid Mech. 229, 531– (1991).
  88. J. Liu and J. P. Gollub, Solitary wave dynamics of film flows, Phys. Fluids 6, 1702 (1994a).
  89. A. Oron, S. H. Davis, and S. G. Bankoff, Long-scale evolution of thin liquid films, Rev. Mod. Phys. 69, 931 (1997).
  90. L. T. Nguyen and V. Balakotaiah, Modeling and experimental studies of wave evolution on free falling viscous films, Phys. Fluids 12, 2236 (2000).
  91. U. Thiele and E. Knobloch, Thin liquid films on a slightly inclined heated plate, Phys. D: Nonlinear Phenomena 190, 213 (2004).
  92. V. I. Kerchman and A. L. Frenkel, Interactions of coherent structures in a film flow: simulations of a highly nonlinear evolution equation, Theoret. Comput. Fluid Dynamics 6, 235 (1994).
  93. M. Vlachogiannis and V. Bontozoglou, Observations of solitary wave dynamics of film flows, J. Fluid Mech. 435, 191 (2001).
  94. N. J. Zabusky and M. D. Kruskal, Interaction of “solitons” in a collisionless plasma and the recurrence of initial states, Phys. Rev. Lett. 15, 240 (1965).
  95. J. Liu and J. P. Gollub, Solitary wave dynamics of film flows, Phys. Fluids 6, 1702 (1994b).
  96. I. S. Maksymov and A. Pototsky, Reservoir computing based on solitary-like waves dynamics of liquid film flows: A proof of concept, EPL 142, 43001 (2023).
  97. V. Y. Shkadov, Wave conditions in the flow of thin layer of a viscous liquid under the action of gravity, Izv. Akad. Nauk SSSR, Mekh. Zhidk. Gaza 1, 43 (1967).
  98. V. Y. Shkadov, Theory of wave flows of a thin layer of a viscous liquid, Izv. Akad. Nauk SSSR, Mekh. Zhidk. Gaza 2, 20 (1968).
  99. I. S. Maksymov and A. Pototsky, Solitary-like wave dynamics in thin liquid films over a vibrated inclined plane, Appl. Sci. 13, 1888 (2022).
Citations (11)
View on Semantic Scholar

Summary

We haven't generated a summary for this paper yet.

Ai Sparkles Streamline Icon: https://streamlinehq.com Summarize Now

Whiteboard

Paper to Video (Beta)

Open Problems

We haven't generated a list of open problems mentioned in this paper yet.

Ai Sparkles Streamline Icon: https://streamlinehq.com Generate Now

Continue Learning

We haven't generated follow-up questions for this paper yet.

Ai Sparkles Streamline Icon: https://streamlinehq.com Generate Now

Authors (1)

  1. Ivan S. Maksymov

Collections

Sign up for free to add this paper to one or more collections.

User Circle Single Streamline Icon: https://streamlinehq.com Sign Up