Dunque gli sviluppatori di Github, non avendo modo di valutare la qualità dei risultati in modo automatizzato ed autonomo, hanno deciso di chiedere l’aiuto della community di data scientist, rilasciando al pubblico il CodeSearchNet Corpus, che è attualmente composto da circa 6 milioni di funzioni, e lanciando la CodeSearchNet Challenge.
L’azienda spera che la CodeSearchNet Challenge incoraggi ricercatori indipendenti ed i professionisti del settore a studiare maggiormente la semantic code search, cosi da poter migliorare il proprio motore di ricerca dedicato al codice.