tokenization

#tokenization adalah proses memecah teks menjadi unit kata atau token untuk analisis data. Contoh: memisahkan kalimat menjadi kata-kata. Manfaatnya memudahkan pengolahan data teks seperti pencarian informasi atau analisis bahasa.