List of publications

Selected publications are highlighted.

2023

  • Gábor Berend: Better Together: Jointly Using Masked Latent Semantic Modeling and Masked Language Modeling for Sample Efficient Pre-training. Proceedings of the BabyLM Challenge at the 27th Conference on Computational Natural Language Learning. [PDF]
  • Gábor Berend: Masked Latent Semantic Modeling: an Efficient Pre-training Alternative to Masked Language Modeling. Findings of ACL. [PDF]
  • Gábor Berend: SzegedAI at SemEval-2023 Task 1: Applying Quasi-Symbolic Representations in Visual Word Sense Disambiguation. SemEval 2023. [PDF]
  • Berend Gábor: Látens szemantikus eloszlások használata a nyelvi modellek előtanítása során. XIX. Magyar Számítógépes Nyelvészeti Konferencia - MSZNY 2023. [PDF][slides]
  • Ficsor Tamás, Berend Gábor: HuBERTUSz: Alacsony paraméterszámú transzformer modellek létrehozása és kiértékelése magyar nyelvre. XIX. Magyar Számítógépes Nyelvészeti Konferencia - MSZNY 2023. [PDF][poster]

    • 2022

  • Gábor Berend: Combating the Curse of Multilinguality in Cross-Lingual WSD by Aligning Sparse Contextualized Word Representations. NAACL 2022. [PDF][slides]
  • Erkut Erdem, Menekse Kuyu, Semih Yagcioglu, Anette Frank, Letitia Pârcălăbescu, Barbara Plank, Andrii Babii, Oleksii Turuta, Aykut Erdem, Iacer Calixto, Elena Lloret, Elena-Simona Apostol, Ciprian-Octavian Truică, Branislave Šandrih, Sanda Martinčić-Ipšic, Gábor Berend, Albert Gatt, Grăzina Korvel: Neural Natural Language Generation: A Survey on Multilinguality, Multimodality, Controllability and Learning. Journal of Artificial Intelligence Research. [PDF]
  • Réka Cserháti, Gábor Berend: Codenames as a Game of Co-occurrence Counting. Cognitive Modeling and Computational Linguistics (CMCL) 2022. [PDF]
  • Berend Gábor: Nyelvspecifikus transzformer modellek közötti megfeleltetéssel történő zero-shot jelentésegyértelműsítés. XVIII. Magyar Számítógépes Nyelvészeti Konferencia - MSZNY 2022. [PDF][slides]
  • Ficsor Tamás, Cserháti Réka, Novák Attila, Mihajlik Péter, Zainkó Csaba, Berend Gábor: Charmen ELECTRA: Tokenizációmentes diszkriminatív nyelvi modellezés. XVIII. Magyar Számítógépes Nyelvészeti Konferencia - MSZNY 2022. [PDF]
  • Cserháti Réka, Kolláth István, Kicsi András, Berend Gábor: Magyar nyelvű Fedőnevek-ágensek létrehozása nyers szövegek alapján épített gráf felhasználásával. XVIII. Magyar Számítógépes Nyelvészeti Konferencia - MSZNY 2022. [PDF]

    • 2021

    • Réka Cserháti, Gábor Berend: Identifying the Importance of Content Overlap for Better Cross-lingual Embedding Mappings. 1st Workshop on Multilingual Representation Learning. [PDF]
    • Tamás Ficsor, Gábor Berend: Changing the Basis of Contextual Representations with Explicit Semantics. ACL 2021 Student Research Workshop. [PDF]
    • Péter Róbert, Szántó Zsolt, Bilicki Vilmos, Berend Gábor: Az AVOBMAT (Analysis and Visualization of Bibliographic Metadata and Texts) többnyelvű kutatási eszköz bemutatása. [PDF]
    • Gábor Berend: SzegedAI at SemEval-2021 Task 2: Zero-shot Approach for Multilingual and Cross-lingual Word-in-Context Disambiguation. SemEval-2021. [PDF]
    • Gábor Berend: Mitigating the Knowledge Acquisition Bottleneck for Hungarian Word Sense Disambiguation using Multilingual Transformers. XVII. Magyar Számítógépes Nyelvészeti Konferencia - MSZNY 2021. [PDF]
    • Tamás Ficsor, Gábor Berend: Analysing the semantic content of static Hungarian embedding spaces. XVII. Magyar Számítógépes Nyelvészeti Konferencia - MSZNY 2021. [PDF]

    2020

    • Gábor Berend: Sparsity Makes Sense: Word Sense Disambiguation Using Sparse Contextualized Word Representations. EMNLP 2020. [PDF][CODE][DEMO]
    • Norbert Kis-Szabó, Gábor Berend: Quasi-Multitask Learning: an Efficient Surrogate for Obtaining Model Ensembles. First Workshop on Simple and Efficient Natural Language Processing. [PDF][CODE]
    • Zsolt Szántó, Gábor Berend: ProsperAMnet at FinCausal 2020, Task 1 & 2: Modeling causality in financial texts using multi-headed transformers. 1st Joint Workshop on Financial Narrative Processing and MultiLing Financial Summarisation 2020. [PDF][CODE]
    • Gábor Berend: Efficient algorithm to compute Markov transitional probabilities for a desired PageRank. EPJ Data Science. [PDF][CODE]
    • Gábor Berend, Norbert Kis-Szabó, Zsolt Szántó: ProsperAMnet at the FinSim Task: Detecting hypernyms of financial concepts via measuring the information stored in sparse word representations. Second Workshop on Financial Technology and Natural Language Processing. [PDF][CODE]
    • Tamás Ficsor, Gábor Berend: Interpreting word embeddings using a distribution agnostic approach employing Hellinger distance. 23rd International Conference on Text, Speech and Dialogue. [PDF][CODE]
    • Gábor Berend: Massively Multilingual Sparse Word Representations. Eighth International Conference on Learning Representations - ICLR 2020. [PDF][CODE][DEMO]
    • Vanda Balogh, Gábor Berend, Dimitrios I. Diochnos, György Turán: Understanding the semantic content of sparse word embeddings using a commonsense knowledge base. Thirty-Fourth AAAI Conference on Artificial Intelligence (AAAI-20). [PDF][CODE]
    • Martina Katalin Szabó, Orsolya Ring, Balázs Nagy, László Kiss, Júlia Koltai, Gábor Berend, László Vidács, Attila Gulyás, Zoltán Kmetty: Exploring the dynamic changes of key concepts of the Hungarian socialist era with natural language processing methods. Historical Methods: A Journal of Quantitative and Interdisciplinary History. [PDF]
    • Gábor Berend, Christian Stadlmann, Stefan Mang, Margarethe Überwimmer: A Tool for Automatic Extraction of Information from Company Web Sites in the Field of International Servitization. AAAI-20 Workshop on Knowledge Discovery from Unstructured Data in Financial Services (KDF20). [PDF]
    • Gábor Berend: Word Sense Disambiguation for Hungarian using Transformers. XVI. Magyar Számítógépes Nyelvészeti Konferencia - MSZNY 2020. [PDF][DATA]
    • Róbert Péter, Zsolt Szántó, József Seres, Vilmos Bilicki, Gábor Berend: AVOBMAT: a digital toolkit for analysing and visualizing bibliographic metadata and texts. XVI. Magyar Számítógépes Nyelvészeti Konferencia - MSZNY 2020. [PDF]

    2019

    • Vanda Balogh, Gábor Berend, Dimitrios I. Diochnos, György Turán: Understanding the semantic content of sparse word embeddings using a commonsense knowledge base. Knowledge Representation & Reasoning Meets Machine Learning Workshop @ NeurIPS2019. [PDF]
    • Bendegúz Jenei, Gábor Berend, László Varga: Proactive Minimization of Convolutional Networks. International Joint Conference on Neural Networks. [PDF]
    • Kicsi András, Pusztai Péter, Szabó Ledenyi Klaudia, Szabó Endre, Berend Gábor, Vincze Veronika, Vidács László: Információkinyerés magyar nyelvű gerinc MR leletekből. XV. Magyar Számítógépes Nyelvészeti Konferencia - MSZNY 2019. [PDF]
    • Kardos Péter, Berend Gábor, Farkas Richárd: Kísérletek tudásbázis- és mondatkörnyezet-alapú beágyazásokkal magyar nyelvre. XV. Magyar Számítógépes Nyelvészeti Konferencia - MSZNY 2019. [PDF]
    • Vanda Balogh, Gábor Berend, Dimitrios I. Diochnos, György Turán, Richárd Farkas: Interpretability of Hungarian embedding spaces using a knowledge base. XV. Magyar Számítógépes Nyelvészeti Konferencia - MSZNY 2019. [PDF]

    2018

    • Gábor Berend, Márton Makrai, Péter Földiák: 300-sparsans at SemEval-2018 Task 9: Hypernymy as interaction of sparse attributes. In Proceedings of SemEval-2018. [PDF]
    • Gábor Berend: L1 Regularization of Word Embeddings for Multi-Word Expression Identification. Acta Cybernetica. [PDF]
    • Gábor Berend: Towards cross-lingual utilization of sparse word representations. XIV. Magyar Számítógépes Nyelvészeti Konferencia - MSZNY 2018. [PDF]

    2017

    • Gábor Berend: Sparse Coding of Neural Word Embeddings for Multilingual Sequence Labeling. In Transactions of the Association for Computational Linguistics. [PDF][slides][DEMO]
    • Gábor Berend: SZTE-NLP at SemEval-2017 Task 10: A High Precision Sequence Model for Keyphrase Extraction Utilizing Sparse Coding for Feature Generation. In Proceedings of SemEval-2017. [PDF]

    2016

    • Gábor Berend: Utilizing Word Embeddings for Part-of-Speech Tagging. XII. Magyar Számítógépes Nyelvészeti Konferencia - MSZNY 2016. [PDF]
    • Veronika Vincze, Klára Hegedűs, Gábor Berend, Richárd Farkas: Telltale Trips: Personality Traits in Travel Blogs. LREC Emotions and Sentiment Analysis Workshop 2016. [PDF]

    2015

    • Gábor Berend, Ervin Tasnádi: USZEGED: Correction Type-sensitive Normalization of English Tweets Using Efficiently Indexed n-gram Statistics. ACL-IJCNLP 2015 W-NUT. [PDF]
    • Ervin Tasnádi, Gábor Berend: Supervised Prediction of Social Network Links Using Implicit Sources of Information. SocialNLP@WWW 2015. [PDF]
    • Hangya Viktor, Farkas Richárd, Berend Gábor: Entitásorientált véleménydetekció webes híranyagokból. XI. Magyar Számítógépes Nyelvészeti Konferencia - MSZNY 2015. [PDF]

    2014

    • Gábor Berend: Exploiting extra-textual and linguistic information in keyphrase extraction. In Journal of Natural Language Engineering. [preprint PDF][PDF] [DEMO]
    • Gábor Berend: Machine Learning-based Extraction of Keyphrases and its Applications in Multiple Domains. Dissertation submitted to the PhD School in Computer Science of University of Szeged. [PDF]
    • Viktor Hangya, Gábor Berend, István Varga, Richárd Farkas: SZTE-NLP: Aspect level opinion mining exploiting syntactic cues. In Proceedings of the Eighth International Workshop on Semantic Evaluation (SemEval'14). [PDF]
    • Berend Gábor, Erdős Zoltán, Farkas Richárd: Dokumentumkollekciók vizualizálása kulcsszavak segítségével. X. Magyar Számítógépes Nyelvészeti Konferencia - MSZNY 2014. [PDF]

    2013

    • Gábor Berend, Richárd Farkas: Keyphrase-Driven Document Visualization Tool. IJCNLP 2013. [PDF][DEMO]
    • Gábor Berend, Veronika Vincze, Sina Zarrieß; Richárd Farkas: LFG-based Features for Noun Number and Article Grammatical Errors. Seventeenth Conference on Computational Natural Language Learning: Shared Task. [PDF]
    • Viktor Hangya, Gábor Berend, Richárd Farkas: SZTE-NLP: Sentiment Detection on Twitter Messages. Second Joint Conference on Lexical and Computational Semantics.[PDF]
    • Gábor Berend, Richárd Farkas: Single-Document Keyphrase Extraction for Multi-Document Keyphrase Extraction. CICLing 2013. [PDF], [top-3 keyphrases automatically assigned to 389 ACL workshops]
    • Berend Gábor, Farkas Richárd, Vincze Veronika, Zsibrita János, Jelasity Márk: Kulcsszókinyerés alapú dokumentumklaszterezés, IX. Magyar Számítógépes Nyelvészeti Konferencia - MSZNY 2013. [PDF]

    2012

    • Gábor Berend, Veronika Vincze: How to Evaluate Opinionated Keyphrase Extraction?, 3rd Workshop on Computational Approaches to Subjectivity and Sentiment Analysis (WASSA 2012). [PDF][dataset]

    2011

    • Gábor Berend: Opinion Expression Mining by Exploiting Keyphrase Extraction. Fifth International Joint Conference on Natural Language Processing. [PDF][dataset]
    • Gábor Berend, István Nagy T., György Móra, Veronika Vincze: Inter-domain Opinion Phrase Extraction Based on Feature Augmentation. RANLP 2011. [PDF]
    • István Nagy T., Gábor Berend, Veronika Vincze: Noun Compound and Named Entity Recognition and their Usability in Keyphrase Extraction. RANLP 2011. [PDF]
    • István Nagy T., Veronika Vincze, Gábor Berend: Domain-dependent Identification of Multiword Expressions. RANLP 2011. [PDF]
    • István Nagy T., Gábor Berend, György Móra, Veronika Vincze: Domain-dependent Detection of Light Verb Constructions. RANLP 2011. [PDF]
    • Veronika Vincze, István Nagy T., Gábor Berend: Multiword Expressions and Named Entities in the Wiki50 Corpus. RANLP 2011. [PDF]
    • Veronika Vincze, István Nagy T., Gábor Berend: Detecting noun compounds and light verb constructions: a contrastive study. ACL Workshop on Multiword Expressions: from Parsing and Generation to the Real World [PDF]
    • Berend Gábor, Vincze Veronika: Közösségkeresés alapú felügyelet nélküli szófaji egyértelműsítés. VIII. Magyar Számítógépes Nyelvészeti Konferencia - MSZNY 2011. [PDF]

    2010

    • Richárd Farkas, Gábor Berend, István Hegedűs, András Kárpáti, Balázs Krich: Automatic free-text-tagging of online news archives, accepted to the 19th European Conference on Artificial Intelligence - ECAI 2010. [PDF]
    • Gábor Berend, Richárd Farkas: Feature Engineering for Keyphrase Extraction, accepted to SemEval-2 workshop, Evaluation Exercises on Semantic Evaluation - ACL SigLex event 2010. [PDF]
    • Berend Gábor, Farkas Richárd: Kulcsszókinyerés magyar nyelvű tudományos publikációkból. VII. Magyar Számítógépes Nyelvészeti Konferencia - MSZNY 2010. [PDF]

    2009

    • Berend Gábor, Farkas Richárd: A Wikipédia felhasználása az absztrakt címkézési feladatban. VI. Magyar Számítógépes Nyelvészeti Konferencia - MSZNY 2009. [PDF]

    2008

    • Gábor Berend, Richárd Farkas: Opinion Mining in Hungarian based on textual and graphical clues, in Proceedings of the 4th Intern. Symposium on Data Mining and Intelligent Information Processing, Santander, 2008. [PDF]