TurkishCyberbullying

Contains fine-tuned BERT models and results in the text classification category using Turkish social media data

Stars
0
Committers
2

TurkishCyberbullying 👩🏼‍💻👨🏼‍💻

İçindekiler

Proje Açıklaması

Bu proje, Türkçe X (eski adıyla twitter) verileri kullanılarak oluşturulan 4 kategorili:

  • Nötr
  • Kızdırma
  • Irkçılık
  • Cinsiyetçilik

veri seti ile BERT, ConvBERT ve DistilBERT modellerinin fine-tune edilmesini ele alır. Çalışma çok sınıflı metin sınıflandırma projesidir. Çalışmada nanelimon/turkish-social-media-offensive-dataset veri seti kullanılmıştır.

Kullanılan Modeller

Çalışmada Wikipedia dökümü, çeşitli OPUS korpusları ve Kemal Oflazer tarafından sağlanan özel bir korpus üzerinde eğitilen BERTurk, ConvBERTurk, DistilBERTurk modelleri kullanılmıştır.

Kurulum

Bu projeyi yerel ortamınıza kurmak için aşağıdaki adımları izleyin:

1. Depoyu klonlayın:

git clone hhttps://github.com/BilgeNurBekar/TurkishCyberbullying.git

2. Proje dizinine gidin:

cd TurkishCyberbullying

3. Sanal ortamı oluşturun:

python -m venv ./venv

4. Sanal ortamı etkinleştirin:

  • Windows için:

    .\venv\Scripts\activate
    
  • Unix veya MacOS için:

    source venv/bin/activate
    

5. Gerekli bağımlılıkları yükleyin:

pip install -r requirements.txt

Sonuçlar

BERTurk

Confusion Matrix

Precision - Recall Curve (PR Curve)

Results Table

ConvBERTurk

Confusion Matrix

Precision - Recall Curve (PR Curve)

Results Table

DistilBERTurk

Confusion Matrix

Precision - Recall Curve (PR Curve)

Results Table

Ek

Çalışmada oluşturulan modelleri kullanmak, eğitmek için HuggingFace platformu üzerinden AIZinu profilindeki modelleri inceleyebilirsiniz.

Çalışmanın API' ı için FASTAPI reposunu incelemeyi unutmayın ☄️

Katkıda Bulunma

Katkıda bulunmak isterseniz, lütfen aşağıdaki adımları takip edin:

Depoyu fork edin.

Yeni bir branch oluşturun: git checkout -b feature/ozellik-adi

Değişikliklerinizi yapın ve commit edin.

Pull request açın.

Çalışmayı beğendiyseniz yıldızlamayı unutmayın ⭐️

Related Projects