25 lines
1.5 KiB
Markdown
25 lines
1.5 KiB
Markdown
[English](Scraping-Ethics) · [Dansk](Scraping-Ethics-da) · **Bahasa Melayu**
|
|
|
|
# Adakah pengikisan web sah dan beretika?
|
|
|
|
Kuliah: *Aspek undang-undang dan etika pengikisan web*. Ini ringkasan dengan kata-kata sendiri dan bukan nasihat undang-undang.
|
|
|
|
## Langkah 1: baca robots.txt dahulu
|
|
|
|
`robots.txt` sesebuah laman menyatakan apa yang dibenarkan. Hacker News melarang beberapa laluan dan meminta jeda 30 saat antara permintaan.
|
|
|
|
|
|
|
|
**Apa yang kita pelajari:** kita menyemak peraturan sebelum mengikis dan menjarangkan permintaan: projek ini mengambil satu halaman setiap larian.
|
|
|
|
## Peraturan yang kita ikut
|
|
|
|
- Data awam yang tidak dilindungi hak cipta umumnya boleh dibaca. Kes Genius lawan Google dan hiQ lawan LinkedIn menunjukkan bahawa garisnya tidak mudah.
|
|
- Kandungan berhak cipta, seperti video atau catatan blog, tidak boleh disalin. Data di sebalik log masuk dilindungi perjanjian pengguna laman itu.
|
|
- Penggunaan komersial data yang dikikis boleh membawa pertikaian yang mahal walaupun pengikisan itu sendiri dibenarkan.
|
|
- Pilih API rasmi jika ada, hormati `robots.txt`, hantar `User-Agent` dan jangan hantar lebih daripada satu permintaan seminit.
|
|
|
|
## Apa yang kita pelajari
|
|
|
|
Pengikisan web ialah kemahiran teknikal yang mempunyai had undang-undang dan etika. Mengetahui had itu sebahagian daripada melakukannya dengan baik.
|