bertopic_lai_recursos_CGU

bertopic_lai_recursos_CGU

Link para o Bertopic: BERTopic

Para o treinamento do Bertopic foram utilizados os textos dos pedidos de manifestações da Lei de Acesso à Informação que chegaram até a 3ª instância federal (CGU)

Usage

To use this model, please install BERTopic:

pip install -U bertopic

You can use the model as follows:

from bertopic import BERTopic

#Modelo usado para gerar embeddings
# https://huggingface.co/efederici/e5-base-multilingual-4096
# Estes passos são necessários para manter o max_seq_length=4096
# Caso não use embedding_model = SentenceTransformer('efederici/e5-base-multilingual-4096')
# O max_seq_length fica automaticamente em 512

modelo = 'efederici/e5-base-multilingual-4096'
word_embedding_model = models.Transformer(modelo, max_seq_length=4096)
pooling_model = models.Pooling(word_embedding_model.get_word_embedding_dimension())
embedding_model = SentenceTransformer(modules=[word_embedding_model, pooling_model])

topic_model = BERTopic.load("rodrigomoreirasilva/bertopic_lai_recursos_CGU", 
                            embedding_model=embedding_model)
topic_model.get_topic_info()

#Função para tratar o texto antes do calculo das embeddings
def pre_processamento(texto):
    if texto == None: #verifica se o texto é nulo
        texto = ' '
        return texto
    texto = texto.replace('\n',' ').lower() #retira nova linha / coloca em minúscula     
    texto_sem_espacos_excessivos = re.sub(r'\s+', ' ', texto) #retira espaços excessivos
    texto = texto_sem_espacos_excessivos.strip()  
    return texto

exemplo = "Este é um teste do modelo"
exemplo_tratado = pre_processamento(exemplo)
topic, prob = topic_model.transform(exemplo_tratado)

Topic overview

• Number of topics: 309
• Number of training documents: 17768

<details> <summary>Click here for an overview of all topics.</summary> </details>

Training hyperparameters

• calculate_probabilities: False
• language: None
• low_memory: False
• min_topic_size: 10
• n_gram_range: (1, 1)
• nr_topics: None
• seed_topic_list: None
• top_n_words: 10
• verbose: True
• zeroshot_min_similarity: 0.7
• zeroshot_topic_list: None

Framework versions

• Numpy: 1.26.1
• HDBSCAN: 0.8.33
• UMAP: 0.5.5
• Pandas: 2.1.2
• Scikit-Learn: 1.3.2
• Sentence-transformers: 2.2.2
• Transformers: 4.35.0
• Numba: 0.58.1
• Plotly: 5.18.0
• Python: 3.10.13