1IRIF, CNRS – Université Paris Cité, Γαλλία
2QC Ware, Palo Alto, ΗΠΑ και Παρίσι, Γαλλία
3Σχολή Πληροφορικής, Πανεπιστήμιο του Εδιμβούργου, Σκωτία, Ηνωμένο Βασίλειο
4F. Hoffmann La Roche AG
Βρείτε αυτό το άρθρο ενδιαφέρουσα ή θέλετε να συζητήσετε; Scite ή αφήστε ένα σχόλιο για το SciRate.
Περίληψη
Σε αυτή την εργασία, οι κβαντικοί μετασχηματιστές σχεδιάζονται και αναλύονται λεπτομερώς επεκτείνοντας τις αρχιτεκτονικές κλασικών νευρωνικών δικτύων μετασχηματιστών τελευταίας τεχνολογίας που είναι γνωστό ότι είναι πολύ αποδοτικές στην επεξεργασία φυσικής γλώσσας και στην ανάλυση εικόνας. Με βάση την προηγούμενη εργασία, η οποία χρησιμοποιεί παραμετροποιημένα κβαντικά κυκλώματα για φόρτωση δεδομένων και ορθογώνια νευρωνικά στρώματα, εισάγουμε τρεις τύπους κβαντικών μετασχηματιστών για εκπαίδευση και εξαγωγή συμπερασμάτων, συμπεριλαμβανομένου ενός κβαντικού μετασχηματιστή που βασίζεται σε σύνθετους πίνακες, ο οποίος εγγυάται ένα θεωρητικό πλεονέκτημα του μηχανισμού κβαντικής προσοχής σε σύγκριση με το κλασσικό τους αντίστοιχο τόσο ως προς τον ασυμπτωτικό χρόνο εκτέλεσης όσο και ως προς τον αριθμό των παραμέτρων του μοντέλου. Αυτές οι κβαντικές αρχιτεκτονικές μπορούν να κατασκευαστούν χρησιμοποιώντας ρηχά κβαντικά κυκλώματα και να παράγουν ποιοτικά διαφορετικά μοντέλα ταξινόμησης. Τα τρία προτεινόμενα στρώματα κβαντικής προσοχής ποικίλλουν στο φάσμα μεταξύ του να ακολουθούν στενά τους κλασικούς μετασχηματιστές και να παρουσιάζουν περισσότερα κβαντικά χαρακτηριστικά. Ως δομικά στοιχεία του κβαντικού μετασχηματιστή, προτείνουμε μια νέα μέθοδο για τη φόρτωση μιας μήτρας ως κβαντικές καταστάσεις καθώς και δύο νέα εκπαιδεύσιμα κβαντικά ορθογώνια στρώματα προσαρμόσιμα σε διαφορετικά επίπεδα συνδεσιμότητας και ποιότητας κβαντικών υπολογιστών. Πραγματοποιήσαμε εκτενείς προσομοιώσεις των κβαντικών μετασχηματιστών σε τυπικά σύνολα δεδομένων ιατρικών εικόνων που έδειξαν ανταγωνιστικά και κατά καιρούς καλύτερες επιδόσεις σε σύγκριση με τα κλασικά σημεία αναφοράς, συμπεριλαμβανομένων των καλύτερων στην κατηγορία μετασχηματιστών κλασικής όρασης. Οι κβαντικοί μετασχηματιστές που εκπαιδεύσαμε σε αυτά τα σύνολα δεδομένων μικρής κλίμακας απαιτούν λιγότερες παραμέτρους σε σύγκριση με τα τυπικά κλασικά σημεία αναφοράς. Τέλος, εφαρμόσαμε τους κβαντικούς μετασχηματιστές μας σε υπεραγώγιμους κβαντικούς υπολογιστές και λάβαμε ενθαρρυντικά αποτελέσματα για έως και έξι πειράματα qubit.
Επιλεγμένη εικόνα: Κβαντικό κύκλωμα για την εκτέλεση ενός επιπέδου προσοχής του Compound Transformer. Ένας φορτωτής δεδομένων μήτρας ακολουθούμενος από ένα ορθογώνιο κβαντικό στρώμα.
Δημοφιλή περίληψη
► Δεδομένα BibTeX
► Αναφορές
[1] Jacob Biamonte, Peter Wittek, Nicola Pancotti, Patrick Rebentrost, Nathan Wiebe και Seth Lloyd. «Κβαντική μηχανική μάθηση». Nature 549, 195–202 (2017).
https: / / doi.org/ 10.1038 / nature23474
[2] Iris Cong, Soonwon Choi και Mikhail D Lukin. «Κβαντικά συνελικτικά νευρωνικά δίκτυα». Nature Physics 15, 1273–1278 (2019).
https://doi.org/10.1038/s41567-019-0648-8
[3] Kishor Bharti, Alba Cervera-Lierta, Thi Ha Kyaw, Tobias Haug, Sumner Alperin-Lea, Abhinav Anand, Matthias Degroote, Hermanni Heimonen, Jakob S Kottmann, Tim Menke, κ.ά. «Θορυβώδεις κβαντικοί αλγόριθμοι μέσης κλίμακας». Reviews of Modern Physics 94, 015004 (2022).
https: / / doi.org/ 10.1103 / RevModPhys.94.015004
[4] Marco Cerezo, Andrew Arrasmith, Ryan Babbush, Simon C Benjamin, Suguru Endo, Keisuke Fujii, Jarrod R McClean, Kosuke Mitarai, Xiao Yuan, Lukasz Cincio, κ.ά. «Μεταβλητοί κβαντικοί αλγόριθμοι». Nature Reviews Physics 3, 625–644 (2021).
https://doi.org/10.1038/s42254-021-00348-9
[5] Jonas Landman, Natansh Mathur, Yun Yvonna Li, Martin Strahm, Skander Kazdaghli, Anupam Prakash και Ιορδάνης Κερενίδης. «Κβαντικές μέθοδοι για νευρωνικά δίκτυα και εφαρμογή στην ταξινόμηση ιατρικών εικόνων». Quantum 6, 881 (2022).
https://doi.org/10.22331/q-2022-12-22-881
[6] Bobak Kiani, Randall Balestriero, Yann LeCun και Seth Lloyd. "projunn: Αποτελεσματική μέθοδος για την εκπαίδευση σε βαθιά δίκτυα με ενιαίους πίνακες". Advances in Neural Information Processing Systems 35, 14448–14463 (2022).
[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser και Illia Polosukhin. «Η προσοχή είναι το μόνο που χρειάζεστε». Πρόοδοι στα συστήματα επεξεργασίας νευρωνικών πληροφοριών 30 (2017).
[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee και Kristina Toutanova. «Bert: Προεκπαίδευση μετασχηματιστών βαθιάς διπλής κατεύθυνσης για την κατανόηση της γλώσσας» (2018).
[9] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit και Neil Houlsby. «Μια εικόνα αξίζει 16×16 λέξεις: Μετασχηματιστές για αναγνώριση εικόνας σε κλίμακα». International Conference on Learning Representations (2021). url: openreview.net/forum?id=YicbFdNTTy.
https:///openreview.net/forum?id=YicbFdNTTy
[10] Yi Tay, Mostafa Dehghani, Dara Bahri και Donald Metzler. «Αποτελεσματικοί μετασχηματιστές: Μια έρευνα». ACM Computing Surveys (CSUR) (2020).
https: / / doi.org/ 10.1145 / 3530811
[11] Dzmitry Bahdanau, Kyunghyun Cho και Yoshua Bengio. «Neural Machine Translation by Jointly Learning to Align and Translate» (2016). arXiv:1409.0473 [cs, stat].
arXiv: 1409.0473
[12] J. Schmidhuber. «Μείωση της αναλογίας μεταξύ της μαθησιακής πολυπλοκότητας και του αριθμού των χρονικών μεταβλητών μεταβλητών σε πλήρως επαναλαμβανόμενα δίχτυα». Στο Stan Gielen και Bert Kappen, συντάκτες, ICANN '93. Σελίδες 460–463. Λονδίνο (1993). Πηδών.
https://doi.org/10.1007/978-1-4471-2063-6_110
[13] Jürgen Schmidhuber. «Μαθαίνοντας να ελέγχετε μνήμες γρήγορου βάρους: Μια εναλλακτική λύση στα δυναμικά επαναλαμβανόμενα δίκτυα». Neural Computation 4, 131-139 (1992).
https://doi.org/10.1162/neco.1992.4.1.131
[14] Peter Cha, Paul Ginsparg, Felix Wu, Juan Carrasquilla, Peter L McMahon και Eun-Ah Kim. «Κβαντική τομογραφία με βάση την προσοχή». Machine Learning: Science and Technology 3, 01LT01 (2021).
https://doi.org/10.1088/2632-2153/ac362b
[15] Riccardo Di Sipio, Jia-Hong Huang, Samuel Yen-Chi Chen, Stefano Mangini και Marcel Worring. «Η αυγή της κβαντικής επεξεργασίας φυσικής γλώσσας». Στο ICASSP 2022-2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Σελίδες 8612–8616. IEEE (2022).
https://doi.org/10.1109/ICASSP43922.2022.9747675
[16] Guangxi Li, Xuanqiang Zhao και Xin Wang. «Κβαντικά νευρωνικά δίκτυα αυτοπροσοχής για ταξινόμηση κειμένου» (2022).
[17] Fabio Sanches, Sean Weinberg, Takanori Ide και Kazumitsu Kamiya. «Βραχτά κβαντικά κυκλώματα σε πολιτικές ενίσχυσης εκμάθησης για το πρόβλημα δρομολόγησης οχημάτων». Φυσική Ανασκόπηση A 105, 062403 (2022).
https: / / doi.org/ 10.1103 / PhysRevA.105.062403
[18] YuanFu Yang και Min Sun. «Ανίχνευση ελαττωμάτων ημιαγωγών με υβριδική κλασική-κβαντική βαθιά μάθηση». CVPRPages 2313–2322 (2022).
https://doi.org/10.1109/CVPR52688.2022.00236
[19] Maxwell Henderson, Samriddhi Shakya, Shashindra Pradhan και Tristan Cook. "Quanevolutional νευρωνικά δίκτυα: τροφοδοτώντας την αναγνώριση εικόνας με κβαντικά κυκλώματα". Quantum Machine Intelligence 2, 1–9 (2020).
https: / / doi.org/ 10.1007 / s42484-020-00012-y
[20] Edward Farhi και Hartmut Neven. «Ταξινόμηση με κβαντικά νευρωνικά δίκτυα σε βραχυπρόθεσμους επεξεργαστές» (2018). url: doi.org/10.48550/arXiv.1802.06002.
https://doi.org/10.48550/arXiv.1802.06002
[21] Kosuke Mitarai, Makoto Negoro, Masahiro Kitagawa και Keisuke Fujii. «Μάθηση κβαντικού κυκλώματος». Φυσική Επιθεώρηση Α 98, 032309 (2018).
https: / / doi.org/ 10.1103 / PhysRevA.98.032309
[22] Kui Jia, Shuai Li, Yuxin Wen, Tongliang Liu και Dacheng Tao. «Ορθογώνια βαθιά νευρωνικά δίκτυα». Συναλλαγές IEEE για ανάλυση προτύπων και νοημοσύνη μηχανών (2019).
https: / / doi.org/ 10.1109 / TPAMI.2019.2948352
[23] Roger A Horn και Charles R Johnson. «Ανάλυση μήτρας». Πανεπιστημιακός Τύπος του Cambridge. (2012).
https: / / doi.org/ 10.1017 / CBO9780511810817
[24] Ιορδάνης Κερενίδης και Anupam Prakash. «Κβαντική μηχανική μάθηση με υποδιαστημικές καταστάσεις» (2022).
[25] Brooks Foxen, Charles Neill, Andrew Dunsworth, Pedram Roushan, Ben Chiaro, Anthony Megrant, Julian Kelly, Zijun Chen, Kevin Satzinger, Rami Barends κ.ά. «Επίδειξη συνεχούς συνόλου πυλών δύο qubit για βραχυπρόθεσμους κβαντικούς αλγόριθμους». Physical Review Letters 125, 120504 (2020).
https: / / doi.org/ 10.1103 / PhysRevLett.125.120504
[26] Sonika Johri, Shantanu Debnath, Avinash Mocherla, Alexandros Singk, Anupam Prakash, Jungsang Kim και Ιορδάνης Κερενίδης. «Κοντινότερη ταξινόμηση κεντροειδών σε παγιδευμένο κβαντικό υπολογιστή ιόντων». npj Quantum Information 7, 122 (2021).
https://doi.org/10.1038/s41534-021-00456-5
[27] James W Cooley και John W Tukey. «Ένας αλγόριθμος για τον υπολογισμό της μηχανής μιγαδικών σειρών Fourier». Mathematics of computation 19, 297–301 (1965).
https://doi.org/10.1090/S0025-5718-1965-0178586-1
[28] Li Jing, Yichen Shen, Tena Dubcek, John Peurifoy, Scott A. Skirlo, Yann LeCun, Max Tegmark και Marin Soljacic. «Συντονίσιμα αποτελεσματικά ενιαία νευρωνικά δίκτυα (eunn) και η εφαρμογή τους σε rnns». Σε Διεθνές Συνέδριο για τη Μηχανική Μάθηση. (2016). url: api.semanticscholar.org/CorpusID:5287947.
https://api.semanticscholar.org/CorpusID:5287947
[29] Léo Monbroussou, Jonas Landman, Alex B. Grilo, Romain Kukla και Elham Kashefi. «Εκπαιδευσιμότητα και εκφραστικότητα κβαντικών κυκλωμάτων διατήρησης βάρους hamming-weight για μηχανική μάθηση» (2023). arXiv:2309.15547.
arXiv: 2309.15547
[30] Enrico Fontana, Dylan Herman, Shouvanik Chakrabarti, Niraj Kumar, Romina Yalovetzky, Jamie Herdge, Shree Hari Sureshbabu και Marco Pistoia. «Το πρόσθετο είναι ό,τι χρειάζεστε: Χαρακτηρίζοντας άγονα οροπέδια σε κβαντική ανοσία» (2023). arXiv:2309.07902.
arXiv: 2309.07902
[31] Michael Ragone, Bojko N. Bakalov, Frédéric Sauvage, Alexander F. Kemper, Carlos Ortiz Marrero, Martin Larocca και M. Cerezo. «Μια ενοποιημένη θεωρία άγονων οροπεδίων για βαθιά παραμετροποιημένα κβαντικά κυκλώματα» (2023). arXiv: 2309.09342.
arXiv: 2309.09342
[32] Xuchen You και Xiaodi Wu. «Εκθετικά πολλά τοπικά ελάχιστα σε κβαντικά νευρωνικά δίκτυα». Σε Διεθνές Συνέδριο για τη Μηχανική Μάθηση. Σελίδες 12144–12155. PMLR (2021).
[33] Eric R. Anschuetz και Bobak Toussi Kiani. «Οι κβαντικοί μεταβλητοί αλγόριθμοι πλημμυρίζουν από παγίδες». Nature Communications 13 (2022).
https://doi.org/10.1038/s41467-022-35364-5
[34] Ilya O. Tolstihin, Neil Houlsby, Alexander Kolesnikov, Lucas Beyer, Xiaohua Zhai, Thomas Unterthiner, Jessica Yung, Daniel Keysers, Jakob Uszkoreit, Mario Lucic και Alexey Dosovitskiy. “Mlp-mixer: Μια αρχιτεκτονική all-mlp για όραση”. Στο NeurIPS. (2021).
[35] Jiancheng Yang, Rui Shi και Bingbing Ni. "Medmnist classification decathlon: A lightweight automl benchmark για ανάλυση ιατρικής εικόνας" (2020).
https://doi.org/10.1109/ISBI48211.2021.9434062
[36] Jiancheng Yang, Rui Shi, Donglai Wei, Zequan Liu, Lin Zhao, Bilian Ke, Hanspeter Pfister και Bingbing Ni. "Medmnist v2-ένα ελαφρύ σημείο αναφοράς μεγάλης κλίμακας για 2d και 3d ταξινόμηση βιοϊατρικών εικόνων". Scientific Data 10, 41 (2023).
https://doi.org/10.1038/s41597-022-01721-8
[37] Άγγελος Καθαρόπουλος, Apoorv Vyas, Νικόλαος Παππάς, και François Fleuret. "Οι μετασχηματιστές είναι rnns: Γρήγοροι αυτοπαλινδρομικοί μετασχηματιστές με γραμμική προσοχή". Σε Διεθνές Συνέδριο για τη Μηχανική Μάθηση. Σελίδες 5156–5165. PMLR (2020).
[38] James Bradbury, Roy Frostig, Peter Hawkins, Matthew James Johnson, Chris Leary, Dougal Maclaurin, George Necula, Adam Paszke, Jake VanderPlas, Skye Wanderman-Milne και Qiao Zhang. «JAX: συνθετικοί μετασχηματισμοί προγραμμάτων Python+NumPy». Github (2018). url: http://github.com/google/jax.
http://github.com/google/jax
[39] Diederik P. Kingma και Jimmy Ba. «Adam: Μια μέθοδος για στοχαστική βελτιστοποίηση». CoRR abs/1412.6980 (2015).
[40] Hyeonwoo Noh, Tackgeun You, Jonghwan Mun και Bohyung Han. «Ρυθμίζοντας βαθιά νευρωνικά δίκτυα με θόρυβο: Η ερμηνεία και η βελτιστοποίησή του». NeurIPS (2017).
[41] Xue Ying. «Μια επισκόπηση της υπερπροσαρμογής και των λύσεών της». Στο Journal of Physics: Conference Series. Τόμος 1168, σελίδα 022022. Έκδοση ΙΟΠ (2019).
https://doi.org/10.1088/1742-6596/1168/2/022022
Αναφέρεται από
[1] David Peral García, Juan Cruz-Benito και Francisco José García-Peñalvo, «Συστηματική Ανασκόπηση Λογοτεχνίας: Κβαντική Μηχανική Μάθηση και οι εφαρμογές της», arXiv: 2201.04093, (2022).
[2] El Amine Cherrat, Snehal Raj, Iordanis Kerenidis, Abhishek Shekhar, Ben Wood, Jon Dee, Shouvanik Chakrabarti, Richard Chen, Dylan Herman, Shaohan Hu, Pierre Minssen, Ruslan Shaydulin, Yue Sun, Romina Yalovetzky και Marco Pistoia, "Quantum Deep Hedging", Κβαντικό 7, 1191 (2023).
[3] Léo Monbroussou, Jonas Landman, Alex B. Grilo, Romain Kukla, and Elham Kashefi, “Trainability and Expressivity of Hamming-Weight Preserving Quantum Circuits for Machine Learning”. arXiv: 2309.15547, (2023).
[4] Sohum Thakkar, Skander Kazdaghli, Natansh Mathur, Iordanis Kerenidis, André J. Ferreira-Martins και Samurai Brito, «Βελτιωμένη χρηματοοικονομική πρόβλεψη μέσω της κβαντικής μηχανικής μάθησης», arXiv: 2306.12965, (2023).
[5] Jason Iaconis και Sonika Johri, “Tensor Network Based Efficient Quantum Data Loading of Images”, arXiv: 2310.05897, (2023).
[6] Nishant Jain, Jonas Landman, Natansh Mathur και Ιορδάνης Κερενίδης, «Quantum Fourier Networks for Solving Parametric PDEs», arXiv: 2306.15415, (2023).
[7] Daniel Mastropietro, Georgios Korpas, Vyacheslav Kungurtsev και Jakub Marecek, «Το Fleming-Viot βοηθά στην επιτάχυνση των μεταβλητών κβαντικών αλγορίθμων παρουσία άγονων οροπέδων». arXiv: 2311.18090, (2023).
[8] Aliza U. Siddiqui, Kaitlin Gili και Chris Ballance, «Στονίζοντας το σύγχρονο κβαντικό υλικό: αξιολόγηση απόδοσης και γνώσεις εκτέλεσης», arXiv: 2401.13793, (2024).
Οι παραπάνω αναφορές είναι από SAO / NASA ADS (τελευταία ενημέρωση επιτυχώς 2024-02-22 13:37:43). Η λίστα μπορεί να είναι ελλιπής, καθώς δεν παρέχουν όλοι οι εκδότες τα κατάλληλα και πλήρη στοιχεία αναφοράς.
Δεν ήταν δυνατή η λήψη Crossref αναφερόμενα δεδομένα κατά την τελευταία προσπάθεια 2024-02-22 13:37:41: Δεν ήταν δυνατή η λήψη των αναφερόμενων δεδομένων για το 10.22331 / q-2024-02-22-1265 από την Crossref. Αυτό είναι φυσιολογικό αν το DOI καταχωρήθηκε πρόσφατα.
Αυτό το Βιβλίο δημοσιεύεται στο Quantum στο πλαίσιο του Creative Commons Attribution 4.0 Διεθνής (CC BY 4.0) άδεια. Τα πνευματικά δικαιώματα παραμένουν στους κατόχους των πρωτότυπων δικαιωμάτων πνευματικής ιδιοκτησίας όπως οι δημιουργοί ή τα ιδρύματά τους
- SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
- PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
- PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
- PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
- PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
- πηγή: https://quantum-journal.org/papers/q-2024-02-22-1265/
