Scraper & GraphQL API untuk data Perguruan Tinggi di Indonesia berdasarkan dari website Kementrian RISTEKDIKTI.
MIT License
This scraper is doesn't works anymore.
because `forlap.kemdikbud.go.id` already moved to `https://pddikti.kemdikbud.go.id/`.
Ini adalah Web API dengan teknologi GraphQL untuk menampilkan data kampus yang ada diseluruh Indonesia. Dibuat dengan menggunakan puppeteer
untuk scraping data dari website Kementrian RISTEKDIKTI.
Semua hasil data yang ditampilkan berasal dari website KEMENRISTEKDIKTI (Kementerian Riset, Teknologi Dan Pendidikan Tinggi). Tidak menambah, mengubah ataupun menghapus data tanpa ada izin dari pemilik data. Sebaiknya, data ini hanya digunakan untuk keperluan tugas akhir, skripsi, kontribusi di kampus, dan sebagainya. Kami harap data ini tidak digunakan untuk keperluan komersil, jika masih saja menggunakannya untuk komersil, itu diluar tanggung jawab kami.
yarn install
atau npm install
untuk menginstall semua depedensi yang dibutuhkan.GCP Console
. lebih lengkapnya, baca disini
api-secret.example.json
dengan nama api-secret.json
.client_email
yang didapatkan dari credentials tadi.api-secret.json
, untuk key spreadsheet_id
bisa ditambahkan sendiri dibawahnya berdasarkan id spreadsheet yang dibawah tadi, contoh pada file api-secret.json
:{
"type": "service_account",
"project_id": "xxxx",
"private_key_id": "xxxxx",
....
"spreadsheet_id": "xxxxx"
}
yarn start
atau npm start
untuk menjalankan server. Ketikkan command yarn start:dev
atau npm run start:dev
untuk running dalam mode development, hal ini jika ingin melihat browsernya beraksi secara UI, karena kalau hanya command start
yang dijalankan adalah browser headless
tanpa UI.puppeteer
-nya tidak jalan atau error, bisa coba install ini terlebih dahulu. sudo apt install libpangocairo-1.0-0 libx11-xcb1 libxcomposite1 libxcursor1 libxdamage1 libxi6 libxtst6 libnss3 libcups2 libxss1 libxrandr2 libgconf2-4 libasound2 libatk1.0-0 libgtk-3-0
node src/scraper/mahasiswa.js {kampusID} {batas_halaman} {start_halaman}
untuk memulai collecting data dari target kampus. Example (untuk scrape data mahasiswa di kampus POLSRI hanya dari page 1 - 15): node src/scraper/mahasiswa.js 52FE65F2-627D-425B-99C3-3A0DC740C134 15 1
.kampusID
bisa didapatkan dari request getListKampus(keyword)
terlebih dahulu dari server GraphQL yang sudah dijalankan, contohnya bisa dilihat dibagian Cara Mengkueri
.Best Regards, Sutan Gading Fadhillah Nasution.