1.5 KiB
1.5 KiB
English · Dansk · Bahasa Melayu
Adakah pengikisan web sah dan beretika?
Kuliah: Aspek undang-undang dan etika pengikisan web. Ini ringkasan dengan kata-kata sendiri dan bukan nasihat undang-undang.
Langkah 1: baca robots.txt dahulu
robots.txt sesebuah laman menyatakan apa yang dibenarkan. Hacker News melarang beberapa laluan dan meminta jeda 30 saat antara permintaan.
Apa yang kita pelajari: kita menyemak peraturan sebelum mengikis dan menjarangkan permintaan: projek ini mengambil satu halaman setiap larian.
Peraturan yang kita ikut
- Data awam yang tidak dilindungi hak cipta umumnya boleh dibaca. Kes Genius lawan Google dan hiQ lawan LinkedIn menunjukkan bahawa garisnya tidak mudah.
- Kandungan berhak cipta, seperti video atau catatan blog, tidak boleh disalin. Data di sebalik log masuk dilindungi perjanjian pengguna laman itu.
- Penggunaan komersial data yang dikikis boleh membawa pertikaian yang mahal walaupun pengikisan itu sendiri dibenarkan.
- Pilih API rasmi jika ada, hormati
robots.txt, hantarUser-Agentdan jangan hantar lebih daripada satu permintaan seminit.
Apa yang kita pelajari
Pengikisan web ialah kemahiran teknikal yang mempunyai had undang-undang dan etika. Mengetahui had itu sebahagian daripada melakukannya dengan baik.