Papers
Topics
Authors
Recent
2000 character limit reached

JARVIS-Leaderboard: A Large Scale Benchmark of Materials Design Methods (2306.11688v2)

Published 20 Jun 2023 in cond-mat.mtrl-sci

Abstract: Lack of rigorous reproducibility and validation are major hurdles for scientific development across many fields. Materials science in particular encompasses a variety of experimental and theoretical approaches that require careful benchmarking. Leaderboard efforts have been developed previously to mitigate these issues. However, a comprehensive comparison and benchmarking on an integrated platform with multiple data modalities with both perfect and defect materials data is still lacking. This work introduces JARVIS-Leaderboard, an open-source and community-driven platform that facilitates benchmarking and enhances reproducibility. The platform allows users to set up benchmarks with custom tasks and enables contributions in the form of dataset, code, and meta-data submissions. We cover the following materials design categories: AI, Electronic Structure (ES), Force-fields (FF), Quantum Computation (QC) and Experiments (EXP). For AI, we cover several types of input data, including atomic structures, atomistic images, spectra, and text. For ES, we consider multiple ES approaches, software packages, pseudopotentials, materials, and properties, comparing results to experiment. For FF, we compare multiple approaches for material property predictions. For QC, we benchmark Hamiltonian simulations using various quantum algorithms and circuits. Finally, for experiments, we use the inter-laboratory approach to establish benchmarks. There are 1281 contributions to 274 benchmarks using 152 methods with more than 8 million data-points, and the leaderboard is continuously expanding. The JARVIS-Leaderboard is available at the website: https://pages.nist.gov/jarvis_leaderboard

Definition Search Book Streamline Icon: https://streamlinehq.com
References (151)
  1. W. D. Callister et al., Fundamentals of materials science and engineering, Vol. 471660817 (Wiley London, 2000).
  2. L.-Q. Chen, “Phase-field models for microstructure evolution,” Annual Review of Materials Research 32, 113–140 (2002), https://doi.org/10.1146/annurev.matsci.32.112001.132041 .
  3. A. Agrawal, K. Gopalakrishnan,  and A. Choudhary, “Materials image informatics using deep learning,” in Handbook on Big Data and Machine Learning in the Physical Sciences: Volume 1. Big Data Methods in Experimental Materials Discovery, World Scientific Series on Emerging Technologies, edited by "" ("WorldScientific, 2020) pp. 205–230.
  4. K. Choudhary, B. DeCost, C. Chen, A. Jain, F. Tavazza, R. Cohn, C. W. Park, A. Choudhary, A. Agrawal, S. J. Billinge, et al., “Recent advances and applications of deep learning methods in materials science,” npj Computational Materials 8, 59 (2022a).
  5. D. J. Audus, K. Choudhary, B. L. DeCost, A. G. Kusne, F. Tavazza,  and J. A. Warren, “Artificial intelligence for materials,” in Artificial Intelligence for Science, Chap. Chapter 23, pp. 413–430.
  6. J. Park, J. D. Howe,  and D. S. Sholl, “How reproducible are isotherm measurements in metal–organic frameworks?” Chemistry of Materials 29, 10487–10495 (2017).
  7. M. D. Wilkinson, M. Dumontier, I. J. Aalbersberg, G. Appleton, M. Axton, A. Baak, N. Blomberg, J.-W. Boiten, L. B. da Silva Santos, P. E. Bourne, et al., “The fair guiding principles for scientific data management and stewardship,” Scientific data 3, 1–9 (2016).
  8. A. Agrawal and A. Choudhary, “Perspective: Materials informatics and big data: Realization of the “fourth paradigm” of science in materials science,” APL Mater. 4, 053208 (2016).
  9. J. Rickman, T. Lookman,  and S. Kalinin, “Materials informatics: From the atomic-level to the continuum,” Acta Materialia 168, 473–510 (2019).
  10. A. Agrawal and A. Choudhary, “Deep materials informatics: Applications of deep learning in materials science,” MRS Communications 9, 779–792 (2019).
  11. K. Lejaeghere, G. Bihlmayer, T. Björkman, P. Blaha, S. Blügel, V. Blum, D. Caliste, I. E. Castelli, S. J. Clark, A. Dal Corso, et al., “Reproducibility in density functional theory calculations of solids,” Science 351, aad3000 (2016).
  12. O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein, et al., “Imagenet large scale visual recognition challenge,” International journal of computer vision 115, 211–252 (2015).
  13. J. Jumper, R. Evans, A. Pritzel, T. Green, M. Figurnov, O. Ronneberger, K. Tunyasuvunakool, R. Bates, A. Žídek, A. Potapenko, et al., “Highly accurate protein structure prediction with alphafold,” Nature 596, 583–589 (2021).
  14. T. Brown, B. Mann, N. Ryder, M. Subbiah, J. D. Kaplan, P. Dhariwal, A. Neelakantan, P. Shyam, G. Sastry, A. Askell, et al., “Language models are few-shot learners,” Advances in neural information processing systems 33, 1877–1901 (2020).
  15. A. Dunn, Q. Wang, A. Ganose, D. Dopp,  and A. Jain, “Benchmarking materials property prediction methods: the matbench test set and automatminer reference algorithm,” npj Computational Materials 6, 138 (2020).
  16. Z. Wu, B. Ramsundar, E. N. Feinberg, J. Gomes, C. Geniesse, A. S. Pappu, K. Leswing,  and V. Pande, “Moleculenet: a benchmark for molecular machine learning,” Chemical science 9, 513–530 (2018).
  17. S. Chmiela, A. Tkatchenko, H. E. Sauceda, I. Poltavsky, K. T. Schütt,  and K.-R. Müller, “Machine learning of accurate energy-conserving molecular force fields,” Science advances 3, e1603015 (2017).
  18. S. Chmiela, H. E. Sauceda, I. Poltavsky, K.-R. Müller,  and A. Tkatchenko, “sgdml: Constructing accurate and data efficient molecular force fields using machine learning,” Computer Physics Communications 240, 38–45 (2019).
  19. Y. Zuo, C. Chen, X. Li, Z. Deng, Y. Chen, J. Behler, G. Csányi, A. V. Shapeev, A. P. Thompson, M. A. Wood, et al., “Performance and cost assessment of machine learning interatomic potentials,” The Journal of Physical Chemistry A 124, 731–745 (2020a).
  20. L. Weston, V. Tshitoyan, J. Dagdelen, O. Kononova, A. Trewartha, K. A. Persson, G. Ceder,  and A. Jain, “Named entity recognition and normalization applied to large-scale information extraction from the materials science literature,” J. Chem. Inf. Model. 59, 3692–3702 (2019).
  21. M. Ziatdinov, A. Ghosh, T. Wong,  and S. V. Kalinin, “Atomai: A deep learning framework for analysis of image and spectroscopy data in (scanning) transmission electron microscopy and beyond,” arXiv preprint arXiv:2105.07485  (2021).
  22. P. Borlido, T. Aull, A. W. Huran, F. Tran, M. A. Marques,  and S. Botti, “Large-scale benchmark of exchange–correlation functionals for the determination of electronic band gaps of solids,” Journal of chemical theory and computation 15, 5069–5079 (2019).
  23. S. P. Huber, E. Bosoni, M. Bercx, J. Bröder, A. Degomme, V. Dikan, K. Eimre, E. Flage-Larsen, A. Garcia, L. Genovese, et al., “Common workflows for computing material properties using different quantum engines,” npj Computational Materials 7, 136 (2021).
  24. G.-X. Zhang, A. M. Reilly, A. Tkatchenko,  and M. Scheffler, “Performance of various density-functional approximations for cohesive properties of 64 bulk solids,” New Journal of Physics 20, 063020 (2018a).
  25. R. Tran, J. Lan, M. Shuaibi, S. Goyal, B. M. Wood, A. Das, J. Heras-Domingo, A. Kolluru, A. Rizvi, N. Shoghi, et al., “The open catalyst 2022 (oc22) dataset and challenges for oxide electrocatalysis,” arXiv preprint arXiv:2206.08917  (2022).
  26. P. Jurečka, J. Šponer, J. Černỳ,  and P. Hobza, “Benchmark database of accurate (mp2 and ccsd (t) complete basis set limit) interaction energies of small model complexes, dna base pairs, and amino acid pairs,” Physical Chemistry Chemical Physics 8, 1985–1993 (2006).
  27. B. Brauer, M. K. Kesharwani, S. Kozuch,  and J. M. Martin, “The s66x8 benchmark for noncovalent interactions revisited: Explicitly correlated ab initio methods and density functional theory,” Physical Chemistry Chemical Physics 18, 20905–20925 (2016).
  28. R. A. Mata and M. A. Suhm, “Benchmarking quantum chemical methods: Are we heading in the right direction?” Angewandte Chemie International Edition 56, 11011–11018 (2017).
  29. D. E. Taylor, J. G. Ángyán, G. Galli, C. Zhang, F. Gygi, K. Hirao, J. W. Song, K. Rahul, O. Anatole von Lilienfeld, R. Podeszwa, et al., “Blind test of density-functional-based methods on intermolecular interaction energies,” The Journal of chemical physics 145, 124105 (2016).
  30. D. Wheeler, T. Keller, S. J. DeWitt, A. M. Jokisaari, D. Schwen, J. E. Guyer, L. K. Aagesen, O. G. Heinonen, M. R. Tonks, P. W. Voorhees, et al., “Pfhub: the phase-field community hub,” Journal of Open Research Software 7 (2019).
  31. A. D. Lindsay, D. R. Gaston, C. J. Permann, J. M. Miller, D. Andrš, A. E. Slaughter, F. Kong, J. Hansel, R. W. Carlsen, C. Icenhour, L. Harbour, G. L. Giudicelli, R. H. Stogner, P. German, J. Badger, S. Biswas, L. Chapuis, C. Green, J. Hales, T. Hu, W. Jiang, Y. S. Jung, C. Matthews, Y. Miao, A. Novak, J. W. Peterson, Z. M. Prince, A. Rovinelli, S. Schunert, D. Schwen, B. W. Spencer, S. Veeraraghavan, A. Recuero, D. Yushu, Y. Wang, A. Wilkins,  and C. Wong, “2.0 - MOOSE: Enabling massively parallel multiphysics simulation,” SoftwareX 20, 101202 (2022).
  32. J. Wei, B. Blaiszik, A. Scourtas, D. Morgan,  and P. M. Voyles, “Benchmark tests of atom segmentation deep learning models with a consistent dataset,” arXiv preprint arXiv:2207.10173  (2022).
  33. R. Vuorio, S.-H. Sun, H. Hu,  and J. J. Lim, “Multimodal model-agnostic meta-learning via task-aware modulation,” in Advances in Neural Information Processing Systems, Vol. 32, edited by H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox,  and R. Garnett (Curran Associates, Inc., 2019).
  34. K. Choudhary, K. F. Garrity, A. C. Reid, B. DeCost, A. J. Biacchi, A. R. Hight Walker, Z. Trautt, J. Hattrick-Simpers, A. G. Kusne, A. Centrone, et al., “The joint automated repository for various integrated simulations (jarvis) for data-driven materials design,” npj computational materials 6, 173 (2020).
  35. L. Chanussot, A. Das, S. Goyal, T. Lavril, M. Shuaibi, M. Riviere, K. Tran, J. Heras-Domingo, C. Ho, W. Hu, et al., “Open catalyst 2020 (oc20) dataset and community challenges,” Acs Catalysis 11, 6059–6072 (2021).
  36. J. T. et al, “Scimlbench: A benchmarking suite for ai for science,”  (2021).
  37. N. Brown, M. Fiscato, M. H. Segler,  and A. C. Vaucher, “Guacamol: benchmarking models for de novo molecular design,” Journal of chemical information and modeling 59, 1096–1108 (2019).
  38. G. Chen, P. Chen, C.-Y. Hsieh, C.-K. Lee, B. Liao, R. Liao, W. Liu, J. Qiu, Q. Sun, J. Tang, et al., “Alchemy: A quantum chemistry dataset for benchmarking ai models,” arXiv preprint arXiv:1906.09427  (2019).
  39. M. E. Khatib and W. A. de Jong, “Ml4chem: A machine learning package for chemistry and materials science,” arXiv preprint arXiv:2003.13388  (2020).
  40. F. Broccatelli, R. Trager, M. Reutlinger, G. Karypis,  and M. Li, “Benchmarking accuracy and generalizability of four graph neural networks using large in vitro adme datasets from different chemical spaces,” Molecular Informatics 41, 2100321 (2022).
  41. R. D. Johnson et al., “Nist computational chemistry comparison and benchmark database,” http://srdata. nist. gov/cccbdb  (2006).
  42. G. Prandini, A. Marrazzo, I. E. Castelli, N. Mounet,  and N. Marzari, “Precision and efficiency in solid-state pseudopotential calculations,” npj Computational Materials 4, 72 (2018).
  43. D. S. Karls, M. Bierbaum, A. A. Alemi, R. S. Elliott, J. P. Sethna,  and E. B. Tadmor, “The openkim processing pipeline: A cloud-based automatic material property computation engine,” The Journal of Chemical Physics 153, 064104 (2020).
  44. L. M. Hale, Z. T. Trautt,  and C. A. Becker, “Evaluating variability with atomistic simulations: the effect of potential and calculation methodology on the modeling of lattice and elastic constants,” Modelling and Simulation in Materials Science and Engineering 26, 055003 (2018).
  45. K. Choudhary, A. J. Biacchi, S. Ghosh, L. Hale, A. R. H. Walker,  and F. Tavazza, “High-throughput assessment of vacancy formation and surface energies of materials using classical force-fields,” Journal of Physics: Condensed Matter 30, 395901 (2018).
  46. A. W. Cross, L. S. Bishop, S. Sheldon, P. D. Nation,  and J. M. Gambetta, “Validating quantum computers using randomized model circuits,” Physical Review A 100, 032328 (2019).
  47. T. Tomesh, P. Gokhale, V. Omole, G. S. Ravi, K. N. Smith, J. Viszlai, X.-C. Wu, N. Hardavellas, M. R. Martonosi,  and F. T. Chong, “Supermarq: A scalable quantum benchmark suite,” in 2022 IEEE International Symposium on High-Performance Computer Architecture (HPCA) (IEEE, 2022) pp. 587–603.
  48. F. Häse, M. Aldeghi, R. J. Hickman, L. M. Roch, M. Christensen, E. Liles, J. E. Hein,  and A. Aspuru-Guzik, “Olympus: a benchmarking framework for noisy optimization and experiment planning,”  (2020), arXiv:2010.04153 [stat.ML] .
  49. M. Aldeghi, F. Häse, R. J. Hickman, I. Tamblyn,  and A. Aspuru-Guzik, “Golem: an algorithm for robust experiment and process optimization,” Chemical Science 12, 14792–14807 (2021).
  50. J. R. Hattrick-Simpers, A. Zakutayev, S. C. Barron, Z. T. Trautt, N. Nguyen, K. Choudhary, B. DeCost, C. Phillips, A. G. Kusne, F. Yi, et al., “An inter-laboratory study of zn–sn–ti–o thin films using high-throughput experimental methods,” ACS combinatorial science 21, 350–361 (2019).
  51. G. Kresse and J. Furthmüller, “Efficient iterative schemes for ab initio total-energy calculations using a plane-wave basis set,” Physical review B 54, 11169 (1996a).
  52. G. Kresse and J. Furthmüller, “Efficiency of ab-initio total energy calculations for metals and semiconductors using a plane-wave basis set,” Computational materials science 6, 15–50 (1996b).
  53. J. P. Perdew, K. Burke,  and M. Ernzerhof, “Generalized gradient approximation made simple,” Phys. Rev. Lett. 77, 3865–3868 (1996).
  54. G. Ke, Q. Meng, T. Finley, T. Wang, W. Chen, W. Ma, Q. Ye,  and T.-Y. Liu, “Lightgbm: A highly efficient gradient boosting decision tree,” Advances in neural information processing systems 30, 3146–3154 (2017).
  55. W. A. Harrison, Electronic structure and the properties of solids: the physics of the chemical bond (Courier Corporation, 2012).
  56. K. F. Garrity and K. Choudhary, “Database of wannier tight-binding hamiltonians using high-throughput density functional theory,” Scientific data 8, 106 (2021).
  57. K. F. Garrity and K. Choudhary, “Fast and accurate prediction of material properties with three-body tight-binding model for the periodic table,” Phys. Rev. Mater. 7, 044603 (2023).
  58. R. M. Martin, Electronic structure: basic theory and practical methods (Cambridge university press, 2020).
  59. W. M. C. Foulkes, L. Mitas, R. J. Needs,  and G. Rajagopal, “Quantum Monte Carlo simulations of solids,” Rev. Mod. Phys. 73, 33–83 (2001).
  60. G. Kotliar, S. Y. Savrasov, K. Haule, V. S. Oudovenko, O. Parcollet,  and C. Marianetti, “Electronic structure calculations with dynamical mean-field theory,” Reviews of Modern Physics 78, 865 (2006).
  61. G. Onida, L. Reining,  and A. Rubio, “Electronic excitations: density-functional versus many-body green’s-function approaches,” Rev. Mod. Phys. 74, 601–659 (2002).
  62. P. Hohenberg and W. Kohn, “Inhomogeneous electron gas,” Phys. Rev. 136, B864–B871 (1964).
  63. J. Klimeš, D. R. Bowler,  and A. Michaelides, “Chemical accuracy for the van der waals density functional,” Journal of Physics: Condensed Matter 22, 022201 (2009).
  64. F. Tran and P. Blaha, “Importance of the kinetic energy density for band gap calculations in solids with density functional theory,” The Journal of Physical Chemistry A 121, 3318–3325 (2017).
  65. D. P. Rai, M. P. Ghimire,  and R. K. Thapa, “A dft study of bex (x = s, se, te) semiconductor: Modified becke johnson (mbj) potential,” Semiconductors 48, 1411–1422 (2014).
  66. J. Sun, A. Ruzsinszky,  and J. P. Perdew, “Strongly constrained and appropriately normed semilocal density functional,” Phys. Rev. Lett. 115, 036402 (2015).
  67. J. W. Furness, A. D. Kaplan, J. Ning, J. P. Perdew,  and J. Sun, “Accurate and numerically efficient r2scan meta-generalized gradient approximation,” The Journal of Physical Chemistry Letters, The Journal of Physical Chemistry Letters 11, 8208–8215 (2020).
  68. J. Heyd, G. E. Scuseria,  and M. Ernzerhof, “Hybrid functionals based on a screened coulomb potential,” The Journal of Chemical Physics 118, 8207–8215 (2003), https://doi.org/10.1063/1.1564060 .
  69. P. Giannozzi, S. Baroni, N. Bonini, M. Calandra, R. Car, C. Cavazzoni, D. Ceresoli, G. L. Chiarotti, M. Cococcioni, I. Dabo, et al., “Quantum espresso: a modular and open-source software project for quantum simulations of materials,” Journal of physics: Condensed matter 21, 395502 (2009).
  70. J. P. Perdew, A. Ruzsinszky, G. I. Csonka, O. A. Vydrov, G. E. Scuseria, L. A. Constantin, X. Zhou,  and K. Burke, “Restoring the density-gradient expansion for exchange in solids and surfaces,” Phys. Rev. Lett. 100, 136406 (2008).
  71. X. Gonze, F. Jollet, F. A. Araujo, D. Adams, B. Amadon, T. Applencourt, C. Audouze, J.-M. Beuken, J. Bieder, A. Bokhanchuk, et al., “Recent developments in the abinit software package,” Computer Physics Communications 205, 106–131 (2016).
  72. A. H. Romero, D. C. Allan, B. Amadon, G. Antonius, T. Applencourt, L. Baguet, J. Bieder, F. Bottin, J. Bouchet, E. Bousquet, F. Bruneval, G. Brunin, D. Caliste, M. Côté, J. Denier, C. Dreyer, P. Ghosez, M. Giantomassi, Y. Gillet, O. Gingras, D. R. Hamann, G. Hautier, F. Jollet, G. Jomard, A. Martin, H. P. C. Miranda, F. Naccarato, G. Petretto, N. A. Pike, V. Planes, S. Prokhorenko, T. Rangel, F. Ricci, G.-M. Rignanese, M. Royo, M. Stengel, M. Torrent, M. J. van Setten, B. V. Troeye, M. J. Verstraete, J. Wiktor, J. W. Zwanziger,  and X. Gonze, “Abinit: Overview, and focus on selected capabilities,” J. Chem. Phys. 152, 124102 (2020).
  73. X. Gonze, B. Amadon, G. Antonius, F. Arnardi, L. Baguet, J.-M. Beuken, J. Bieder, F. Bottin, J. Bouchet, E. Bousquet, N. Brouwer, F. Bruneval, G. Brunin, T. Cavignac, J.-B. Charraud, W. Chen, M. Côté, S. Cottenier, J. Denier, G. Geneste, P. Ghosez, M. Giantomassi, Y. Gillet, O. Gingras, D. R. Hamann, G. Hautier, X. He, N. Helbig, N. Holzwarth, Y. Jia, F. Jollet, W. Lafargue-Dit-Hauret, K. Lejaeghere, M. A. L. Marques, A. Martin, C. Martins, H. P. C. Miranda, F. Naccarato, K. Persson, G. Petretto, V. Planes, Y. Pouillon, S. Prokhorenko, F. Ricci, G.-M. Rignanese, A. H. Romero, M. M. Schmitt, M. Torrent, M. J. van Setten, B. V. Troeye, M. J. Verstraete, G. Zérah,  and J. W. Zwanziger, “The abinit project: Impact, environment and recent developments,” Comput. Phys. Commun. 248, 107042 (2020).
  74. J. Enkovaara, C. Rostgaard, J. J. Mortensen, J. Chen, M. Dułak, L. Ferrighi, J. Gavnholt, C. Glinsvad, V. Haikola, H. A. Hansen, H. H. Kristoffersen, M. Kuisma, A. H. Larsen, L. Lehtovaara, M. Ljungberg, O. Lopez-Acevedo, P. G. Moses, J. Ojanen, T. Olsen, V. Petzold, N. A. Romero, J. Stausholm-Møller, M. Strange, G. A. Tritsaris, M. Vanin, M. Walter, B. Hammer, H. Häkkinen, G. K. H. Madsen, R. M. Nieminen, J. K. Nørskov, M. Puska, T. T. Rantala, J. Schiøtz, K. S. Thygesen,  and K. W. Jacobsen, “Electronic structure calculations with gpaw: a real-space implementation of the projector augmented-wave method,” Journal of Physics: Condensed Matter 22, 253202 (2010).
  75. M. Kuisma, J. Ojanen, J. Enkovaara,  and T. T. Rantala, “Kohn-sham potential with discontinuity for band gap materials,” Phys. Rev. B 82, 115106 (2010).
  76. J. Kim, A. D. Baczewski, T. D. Beaudet, A. Benali, M. C. Bennett, M. A. Berrill, N. S. Blunt, E. J. L. Borda, M. Casula, D. M. Ceperley, et al., “Qmcpack: an open source ab initio quantum monte carlo package for the electronic structure of atoms, molecules and solids,” Journal of Physics: Condensed Matter 30, 195901 (2018).
  77. A. A. Mostofi, J. R. Yates, G. Pizzi, Y.-S. Lee, I. Souza, D. Vanderbilt,  and N. Marzari, “An updated version of wannier90: A tool for obtaining maximally-localised wannier functions,” Computer Physics Communications 185, 2309–2310 (2014).
  78. K. Choudhary, B. DeCost,  and F. Tavazza, “Machine learning with force-field-inspired descriptors for materials: Fast screening and mapping energy landscape,” Physical review materials 2, 083801 (2018).
  79. L. Ward, A. Agrawal, A. Choudhary,  and C. Wolverton, “A general-purpose machine learning framework for predicting properties of inorganic materials,” npj Computational Materials 2, 16028 (2016).
  80. R. B. Wexler, G. S. Gautam, E. B. Stechel,  and E. A. Carter, “Factors governing oxygen vacancy formation in oxide perovskites,” J. Am. Chem. Soc. 143, 13212–13227 (2021).
  81. D. Jha, L. Ward, A. Paul, W.-k. Liao, A. Choudhary, C. Wolverton,  and A. Agrawal, “Elemnet: Deep learning the chemistry of materials from only elemental composition,” Scientific Reports 8, 17593 (2018).
  82. D. Jha, K. Choudhary, F. Tavazza, W.-k. Liao, A. Choudhary, C. Campbell,  and A. Agrawal, “Enhancing materials property prediction by leveraging computational and experimental data using deep transfer learning,” Nat. Commun 10, 1–12 (2019a).
  83. V. Gupta, K. Choudhary, F. Tavazza, C. Campbell, W.-k. Liao, A. Choudhary,  and A. Agrawal, “Cross-property deep transfer learning framework for enhanced predictive analytics on small materials data,” Nature communications 12, 6595 (2021).
  84. D. Jha, L. Ward, Z. Yang, C. Wolverton, I. Foster, W.-k. Liao, A. Choudhary,  and A. Agrawal, “Irnet: A general purpose deep residual regression framework for materials discovery,” in Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, edited by "" (2019) pp. 2385–2393.
  85. D. Jha, V. Gupta, L. Ward, Z. Yang, C. Wolverton, I. Foster, W.-k. Liao, A. Choudhary,  and A. Agrawal, “Enabling deeper learning on big data for materials informatics applications,” Scientific reports 11, 4244 (2021).
  86. D. Jha, V. Gupta, W.-k. Liao, A. Choudhary,  and A. Agrawal, “Moving closer to experimental level materials property prediction using ai,” Scientific reports 12, 1–9 (2022).
  87. V. Gupta, W.-k. Liao, A. Choudhary,  and A. Agrawal, “Brnet: Branched residual network for fast and accurate predictive modeling of materials properties,” in Proceedings of the 2022 SIAM international conference on data mining (SDM) (SIAM, 2022) pp. 343–351.
  88. V. Gupta, A. Peltekian, W.-k. Liao, A. Choudhary,  and A. Agrawal, “Improving deep learning model performance under parametric constraints for materials informatics applications,” Scientific Reports 13, 9128 (2023).
  89. C. Chen, Z. Deng, R. Tran, H. Tang, I.-H. Chu,  and S. P. Ong, “Accurate force field for molybdenum by machine learning large materials data,” Phys. Rev. Mater. 1, 043603 (2017).
  90. K. Choudhary and B. DeCost, “Atomistic line graph neural network for improved materials property predictions,” npj Computational Materials 7, 185 (2021).
  91. T. Xie and J. C. Grossman, “Crystal graph convolutional neural networks for an accurate and interpretable prediction of material properties,” Phys. Rev. Lett. 120, 145301 (2018).
  92. K. T. Schütt, H. E. Sauceda, P.-J. Kindermans, A. Tkatchenko,  and K.-R. Müller, “Schnet – a deep learning architecture for molecules and materials,” The Journal of Chemical Physics 148, 241722 (2018), https://doi.org/10.1063/1.5019779 .
  93. K. Choudhary, R. Gurunathan, B. DeCost,  and A. Biacchi, “Atomvision: A machine vision library for atomistic images,” Journal of Chemical Information and Modeling  (2023a).
  94. K. Choudhary and M. L. Kelley, “Chemnlp: A natural language processing based library for materials chemistry text data,”   (2022), 10.48550/ARXIV.2209.08203.
  95. J. Gasteiger, J. Groß,  and S. Günnemann, “Directional message passing for molecular graphs,” in International Conference on Learning Representations (ICLR) (2020).
  96. J. Gasteiger, S. Giri, J. T. Margraf,  and S. Günnemann, “Fast and uncertainty-aware directional message passing for non-equilibrium molecules,” in Machine Learning for Molecules Workshop, NeurIPS (2020).
  97. B. Deng, P. Zhong, K. Jun, K. Han, C. J. Bartel,  and G. Ceder, “CHGNet: Pretrained universal neural network potential for charge-informed atomistic modeling,” arXiv preprint arXiv:2302.14231  (2023).
  98. C. Chen and S. P. Ong, “A universal graph deep learning interatomic potential for the periodic table,” Nature Computational Science 2, 718–728 (2022).
  99. P. Reiser, A. Eberhard,  and P. Friederich, “Graph neural networks in tensorflow-keras with raggedtensor representation (kgcnn),” Software Impacts , 100095 (2021).
  100. Y. Lin, K. Yan, Y. Luo, Y. Liu, X. Qian,  and S. Ji, “Efficient approximations of complete interatomic potentials for crystal property prediction,” in Proceedings of the 40th International Conference on Machine Learning (2023).
  101. S. Zhang, S. Roller, N. Goyal, M. Artetxe, M. Chen, S. Chen, C. Dewan, M. Diab, X. Li, X. V. Lin, T. Mihaylov, M. Ott, S. Shleifer, K. Shuster, D. Simig, P. S. Koura, A. Sridhar, T. Wang,  and L. Zettlemoyer, “Opt: Open pre-trained transformer language models,”  (2022), arXiv:2205.01068 [cs.CL] .
  102. C. Raffel, N. Shazeer, A. Roberts, K. Lee, S. Narang, M. Matena, Y. Zhou, W. Li,  and P. J. Liu, “Exploring the limits of transfer learning with a unified text-to-text transformer,”  (2020), arXiv:1910.10683 [cs.LG] .
  103. J. E. Jones and S. Chapman, “On the determination of molecular fields.—i. from the variation of the viscosity of a gas with temperature,” Proceedings of the Royal Society of London. Series A, Containing Papers of a Mathematical and Physical Character 106, 441–462 (1924), https://royalsocietypublishing.org/doi/pdf/10.1098/rspa.1924.0081 .
  104. A. P. Thompson, H. M. Aktulga, R. Berger, D. S. Bolintineanu, W. M. Brown, P. S. Crozier, P. J. in ’t Veld, A. Kohlmeyer, S. G. Moore, T. D. Nguyen, R. Shan, M. J. Stevens, J. Tranchida, C. Trott,  and S. J. Plimpton, “LAMMPS - a flexible simulation tool for particle-based materials modeling at the atomic, meso, and continuum scales,” Comp. Phys. Comm. 271, 108171 (2022).
  105. M. S. Daw and M. I. Baskes, “Embedded-atom method: Derivation and application to impurities, surfaces, and other defects in metals,” Phys. Rev. B 29, 6443–6453 (1984).
  106. J. Tersoff, “New empirical approach for the structure and energy of covalent systems,” Phys. Rev. B 37, 6991–7000 (1988).
  107. K. Lindorff-Larsen, S. Piana, K. Palmo, P. Maragakis, J. L. Klepeis, R. O. Dror,  and D. E. Shaw, “Improved side-chain torsion potentials for the amber ff99sb protein force field,” Proteins: Structure, Function, and Bioinformatics 78, 1950–1958 (2010).
  108. D. Van Der Spoel, E. Lindahl, B. Hess, G. Groenhof, A. E. Mark,  and H. J. Berendsen, “Gromacs: fast, flexible, and free,” Journal of computational chemistry 26, 1701–1718 (2005).
  109. “IBM Quantum,” https://quantum-computing.ibm.com (2021).
  110. O. Higgott, D. Wang,  and S. Brierley, “Variational Quantum Computation of Excited States,” Quantum 3, 156 (2019).
  111. V. Bergholm, J. Izaac, M. Schuld, C. Gogolin, S. Ahmed, V. Ajith, M. S. Alam, G. Alonso-Linaje, B. AkashNarayanan, A. Asadi, J. M. Arrazola, U. Azad, S. Banning, C. Blank, T. R. Bromley, B. A. Cordier, J. Ceroni, A. Delgado, O. D. Matteo, A. Dusko, T. Garg, D. Guala, A. Hayes, R. Hill, A. Ijaz, T. Isacsson, D. Ittah, S. Jahangiri, P. Jain, E. Jiang, A. Khandelwal, K. Kottmann, R. A. Lang, C. Lee, T. Loke, A. Lowe, K. McKiernan, J. J. Meyer, J. A. Montañez-Barrera, R. Moyard, Z. Niu, L. J. O’Riordan, S. Oud, A. Panigrahi, C.-Y. Park, D. Polatajko, N. Quesada, C. Roberts, N. Sá, I. Schoch, B. Shi, S. Shu, S. Sim, A. Singh, I. Strandberg, J. Soni, A. Száva, S. Thabet, R. A. Vargas-Hernández, T. Vincent, N. Vitucci, M. Weber, D. Wierichs, R. Wiersema, M. Willmann, V. Wong, S. Zhang,  and N. Killoran, “Pennylane: Automatic differentiation of hybrid quantum-classical computations,”  (2022), arXiv:1811.04968 [quant-ph] .
  112. J. M. Arrazola, S. Jahangiri, A. Delgado, J. Ceroni, J. Izaac, A. Száva, U. Azad, R. A. Lang, Z. Niu, O. D. Matteo, R. Moyard, J. Soni, M. Schuld, R. A. Vargas-Hernández, T. Tamayo-Mendoza, C. Y.-Y. Lin, A. Aspuru-Guzik,  and N. Killoran, “Differentiable quantum computational chemistry with pennylane,”  (2023), arXiv:2111.09967 [quant-ph] .
  113. H. G. T. Nguyen, L. Espinal, R. D. van Zee, M. Thommes, B. Toman, M. S. L. Hudson, E. Mangano, S. Brandani, D. P. Broom, M. J. Benham, K. Cychosz, P. Bertier, F. Yang, B. M. Krooss, R. L. Siegelman, M. Hakuman, K. Nakai, A. D. Ebner, L. Erden, J. A. Ritter, A. Moran, O. Talu, Y. Huang, K. S. Walton, P. Billemont,  and G. De Weireld, “A reference high-pressure co2 adsorption isotherm for ammonium zsm-5 zeolite: results of an interlaboratory study,” Adsorption 24, 531–539 (2018).
  114. A. Engelbrecht-Wiggans, F. Burni, E. Guigues, S. Jiang, T. Huynh, Z. Tsinas, D. Jacobs,  and A. Forster, “Effects of temperature and humidity on high-strength p-aramid fibers used in body armor,” Textile Research Journal 90, 2428–2440 (2020), https://doi.org/10.1177/0040517520918232 .
  115. S. Lehtola, C. Steigemann, M. J. Oliveira,  and M. A. Marques, “Recent developments in libxc—a comprehensive library of functionals for density functional theory,” SoftwareX 7, 1–5 (2018).
  116. K. Choudhary and F. Tavazza, “Convergence and machine learning predictions of monkhorst-pack k-points and plane-wave cut-off in high-throughput dft calculations,” Computational materials science 161, 300–308 (2019).
  117. K. Choudhary, F. Y. P. Congo, T. Liang, C. Becker, R. G. Hennig,  and F. Tavazza, “Evaluation and comparison of classical interatomic potentials through a user-friendly interactive web-interface,” Scientific Data 4, 160125 (2017).
  118. D. A. Case, T. E. Cheatham III, T. Darden, H. Gohlke, R. Luo, K. M. Merz Jr., A. Onufriev, C. Simmerling, B. Wang,  and R. J. Woods, “The amber biomolecular simulation programs,” J. Comput. Chem. 26, 1668–1688 (2005).
  119. J. Huang, S. Rauscher, G. Nawrocki, T. Ran, M. Feig, B. L. De Groot, H. Grubmüller,  and A. D. MacKerell Jr, “Charmm36m: an improved force field for folded and intrinsically disordered proteins,” Nature methods 14, 71–73 (2017).
  120. I. Novoselov, A. Yanilkin, A. Shapeev,  and E. Podryabinkin, “Moment tensor potentials as a promising tool to study diffusion processes,” Computational Materials Science 164, 46–56 (2019).
  121. R. Drautz, “Atomic cluster expansion for accurate and transferable interatomic potentials,” Phys. Rev. B 99, 014104 (2019).
  122. A. P. Bartók, R. Kondor,  and G. Csányi, “On representing chemical environments,” Phys. Rev. B 87, 184115 (2013).
  123. L. Zhang, J. Han, H. Wang, R. Car,  and W. E, “Deep potential molecular dynamics: A scalable model with the accuracy of quantum mechanics,” Phys. Rev. Lett. 120, 143001 (2018b).
  124. V. Botu and R. Ramprasad, ‘‘Adaptive machine learning framework to accelerate ab initio molecular dynamics,” International Journal of Quantum Chemistry 115, 1074–1083 (2015), https://onlinelibrary.wiley.com/doi/pdf/10.1002/qua.24836 .
  125. J. S. Smith, B. Nebgen, N. Mathew, J. Chen, N. Lubbers, L. Burakovsky, S. Tretiak, H. A. Nam, T. Germann, S. Fensin,  and K. Barros, “Automated discovery of a robust interatomic potential for aluminum,” Nature Communications 12 (2021), 10.1038/s41467-021-21376-0.
  126. K. Choudhary, B. DeCost, L. Major, K. Butler, J. Thiyagalingam,  and F. Tavazza, “Unified graph neural network force-field for the periodic table: solid state applications,” Digital Discovery  (2023b).
  127. A. H. Larsen, J. J. Mortensen, J. Blomqvist, I. E. Castelli, R. Christensen, M. Dułak, J. Friis, M. N. Groves, B. Hammer, C. Hargus, E. D. Hermes, P. C. Jennings, P. B. Jensen, J. Kermode, J. R. Kitchin, E. L. Kolsbjerg, J. Kubal, K. Kaasbjerg, S. Lysgaard, J. B. Maronsson, T. Maxson, T. Olsen, L. Pastewka, A. Peterson, C. Rostgaard, J. Schiøtz, O. Schütt, M. Strange, K. S. Thygesen, T. Vegge, L. Vilhelmsen, M. Walter, Z. Zeng,  and K. W. Jacobsen, “The atomic simulation environment—a python library for working with atoms,” Journal of Physics: Condensed Matter 29, 273002 (2017).
  128. K. Choudhary, T. Yildirim, D. W. Siderius, A. G. Kusne, A. McDannald,  and D. L. Ortiz-Montalvo, “Graph neural network predictions of metal organic framework co2 adsorption properties,” Computational Materials Science 210, 111388 (2022b).
  129. D. Dubbeldam, S. Calero, D. E. Ellis,  and R. Q. Snurr, “Raspa: molecular simulation software for adsorption and diffusion in flexible nanoporous materials,” Molecular Simulation 42, 81–101 (2016), https://doi.org/10.1080/08927022.2015.1010082 .
  130. S. Páll, A. Zhmurov, P. Bauer, M. Abraham, M. Lundborg, A. Gray, B. Hess,  and E. Lindahl, “Heterogeneous parallelization and acceleration of molecular dynamics simulations in GROMACS,” The Journal of Chemical Physics 153 (2020), 10.1063/5.0018516, 134110, https://pubs.aip.org/aip/jcp/article-pdf/doi/10.1063/5.0018516/16736127/134110_1_online.pdf .
  131. S.-T. Tsai, Z. Smith,  and P. Tiwary, “Sgoop-d: Estimating kinetic distances and reaction coordinate dimensionality for rare event systems from biased/unbiased simulations,” Journal of Chemical Theory and Computation 17, 6757–6765 (2021).
  132. S. Mehdi, D. Wang, S. Pant,  and P. Tiwary, “Accelerating all-atom simulations and gaining mechanistic understanding of biophysical systems through state predictive information bottleneck,” Journal of Chemical Theory and Computation 18, 3231–3238 (2022b).
  133. D. Wang and P. Tiwary, “State predictive information bottleneck,” The Journal of Chemical Physics 154, 134111 (2021).
  134. A. Jain, S. P. Ong, G. Hautier, W. Chen, W. D. Richards, S. Dacek, S. Cholia, D. Gunter, D. Skinner, G. Ceder,  and K. A. Persson, “Commentary: The materials project: A materials genome approach to accelerating materials innovation,” APL Materials 1, 011002 (2013), https://doi.org/10.1063/1.4812323 .
  135. L. Ruddigkeit, R. van Deursen, L. C. Blum,  and J.-L. Reymond, “Enumeration of 166 billion organic small molecules in the chemical universe database gdb-17,” Journal of Chemical Information and Modeling 52, 2864–2875 (2012).
  136. R. Ramakrishnan, P. O. Dral, M. Rupp,  and O. A. von Lilienfeld, “Quantum chemistry structures and properties of 134 kilo molecules,” Scientific Data 1 (2014).
  137. F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau, M. Brucher, M. Perrot,  and E. Duchesnay, “Scikit-learn: Machine learning in Python,” Journal of Machine Learning Research 12, 2825–2830 (2011).
  138. A. Paszke, S. Gross, F. Massa, A. Lerer, J. Bradbury, G. Chanan, T. Killeen, Z. Lin, N. Gimelshein, L. Antiga, A. Desmaison, A. Köpf, E. Yang, Z. DeVito, M. Raison, A. Tejani, S. Chilamkurthy, B. Steiner, L. Fang, J. Bai,  and S. Chintala, “Pytorch: An imperative style, high-performance deep learning library,”  (2019), arXiv:1912.01703 [cs.LG] .
  139. M. Abadi, A. Agarwal, P. Barham, E. Brevdo, Z. Chen, C. Citro, G. S. Corrado, A. Davis, J. Dean, M. Devin, S. Ghemawat, I. Goodfellow, A. Harp, G. Irving, M. Isard, Y. Jia, R. Jozefowicz, L. Kaiser, M. Kudlur, J. Levenberg, D. Mané, R. Monga, S. Moore, D. Murray, C. Olah, M. Schuster, J. Shlens, B. Steiner, I. Sutskever, K. Talwar, P. Tucker, V. Vanhoucke, V. Vasudevan, F. Viégas, O. Vinyals, P. Warden, M. Wattenberg, M. Wicke, Y. Yu,  and X. Zheng, “TensorFlow: Large-scale machine learning on heterogeneous systems,”  (2015), software available from tensorflow.org.
  140. J. Bradbury, R. Frostig, P. Hawkins, M. J. Johnson, C. Leary, D. Maclaurin, G. Necula, A. Paszke, J. VanderPlas, S. Wanderman-Milne,  and Q. Zhang, “JAX: composable transformations of Python+NumPy programs,”  (2018).
  141. M. A. Nielsen and I. L. Chuang, “Quantum computation and quantum information,” Phys. Today 54, 60 (2001).
  142. K. Choudhary, “Quantum computation for predicting electron and phonon properties of solids,” Journal of Physics: Condensed Matter 33, 385501 (2021).
  143. J. S. Kottmann, S. Alperin-Lea, T. Tamayo-Mendoza, A. Cervera-Lierta, C. Lavigne, T.-C. Yen, V. Verteletskyi, P. Schleich, A. Anand, M. Degroote, S. Chaney, M. Kesibi, N. G. Curnow, B. Solo, G. Tsilimigkounakis, C. Zendejas-Morales, A. F. Izmaylov,  and A. Aspuru-Guzik, “Tequila: a platform for rapid development of quantum algorithms,” Quantum Science and Technology 6, 024009 (2021).
  144. C. Developers, “Cirq,”  (2022), See full list of authors on Github: https://github .com/quantumlib/Cirq/graphs/contributors.
  145. R. H. PIERSON and E. A. FAY, “Guidelines for interlaboratory testing programs,” Analytical Chemistry 31, 25A–49A (1959).
  146. Y. Zuo, C. Chen, X. Li, Z. Deng, Y. Chen, J. Behler, G. Csányi, A. V. Shapeev, A. P. Thompson, M. A. Wood,  and S. P. Ong, “Performance and cost assessment of machine learning interatomic potentials,” The Journal of Physical Chemistry A 124, 731–745 (2020b).
  147. S. Kirklin, J. E. Saal, B. Meredig, A. Thompson, J. W. Doak, M. Aykol, S. Rühl,  and C. Wolverton, “The open quantum materials database (oqmd): assessing the accuracy of dft formation energies,” npj Computational Materials 1, 15010 (2015).
  148. S. Curtarolo, W. Setyawan, G. L. Hart, M. Jahnatek, R. V. Chepulskii, R. H. Taylor, S. Wang, J. Xue, K. Yang, O. Levy, M. J. Mehl, H. T. Stokes, D. O. Demchenko,  and D. Morgan, “Aflow: An automatic framework for high-throughput materials discovery,” Computational Materials Science 58, 218–226 (2012).
  149. K. Li, B. DeCost, K. Choudhary, M. Greenwood,  and J. Hattrick-Simpers, “A critical examination of robustness and generalizability of machine learning prediction of materials properties,” npj Computational Materials 9, 55 (2023b).
  150. S. Gong, T. Xie, Y. Shao-Horn, R. Gomez-Bombarelli,  and J. C. Grossman, “Examining graph neural networks for crystal structures: limitations and opportunities for capturing periodicity,” arXiv preprint arXiv:2208.05039  (2022).
  151. L. Ward, R. Liu, A. Krishna, V. I. Hegde, A. Agrawal, A. Choudhary,  and C. Wolverton, “Including crystal structure attributes in machine learning models of formation energies via voronoi tessellations,” Physical Review B 96, 024104 (2017).
Citations (19)
View on Semantic Scholar

Summary

We haven't generated a summary for this paper yet.

Ai Sparkles Streamline Icon: https://streamlinehq.com Summarize Now
Slide Deck Streamline Icon: https://streamlinehq.com

Whiteboard

Dice Question Streamline Icon: https://streamlinehq.com

Open Problems

We haven't generated a list of open problems mentioned in this paper yet.

Ai Sparkles Streamline Icon: https://streamlinehq.com Generate Now
Lightbulb Streamline Icon: https://streamlinehq.com

Continue Learning

We haven't generated follow-up questions for this paper yet.

Ai Sparkles Streamline Icon: https://streamlinehq.com Generate Now
List To Do Tasks Checklist Streamline Icon: https://streamlinehq.com

Collections

Sign up for free to add this paper to one or more collections.

User Circle Single Streamline Icon: https://streamlinehq.com Sign Up
X Twitter Logo Streamline Icon: https://streamlinehq.com

Tweets

Sign up for free to view the 2 tweets with 6 likes about this paper.

User Circle Single Streamline Icon: https://streamlinehq.com Sign Up for Free