AI Series: Mengenal Large Language Models

Kita hidup di era ketika mesin mulai bisa membaca, menulis, menerjemahkan, merangkum, bahkan berdebat, ada satu teknologi yang menjadi pondasinya: kecerdasan buatan. Seri tulisan ini hadir untuk membongkar lapisan demi lapisan teknologi tersebut, mulai dari bagaimana komputer belajar memahami bahasa manusia, apa yang sebenarnya terjadi ketika kamu mengetik pertanyaan ke ChatGPT atau Claude, hingga mengapa model-model ini bisa terasa begitu “pintar”. Dalam seri tulisan ini kita akan mempelajari dasar-dasar, bagaimana menggunakan AI, mendeploy AI secara lokal, bahkan melatih model LLM.

Artificial Intelligence (AI) adalah bidang ilmu komputer yang bertujuan menciptakan sistem yang mampu meniru kecerdasan manusia mulai dari belajar, bernalar, memecahkan masalah, hingga memahami bahasa. Sederhananya, AI adalah usaha kita untuk membuat mesin “berpikir”.

Natural Language Processing (NLP) adalah cabang AI yang memungkinkan komputer untuk memahami, menginterpretasikan, dan menghasilkan bahasa manusia. NLP menjembatani gap antara cara manusia berkomunikasi (natural language) dengan cara mesin memproses informasi.

Tugas-tugas umum NLP meliputi: analisis sentimen (positif/negatif), klasifikasi teks, penerjemahan otomatis, ringkasan dokumen, ekstraksi informasi, dan men-generate teks seperti yang dilakukan ChatGPT atau Claude.

Contoh AI Populer

Dalam beberapa tahun terakhir, ekosistem AI berkembang pesat. Berikut adalah beberapa model dan sistem AI yang paling dikenal dan banyak digunakan saat ini:

Selain model bahasa, ada juga AI terkenal di bidang lain: DALL-E dan Midjourney untuk generasi gambar, Sora dan Runway untuk generasi video, AlphaFold dari DeepMind untuk prediksi struktur protein, dan GitHub Copilot untuk pembantu coding.

Semua model AI percakapan yang disebut di atas semuanya adalah LLM (Large Language Models). Itulah yang akan kita bahas lebih dalam di bagian selanjutnya.

Apa itu Text To Vector?

Komputer tidak bisa memahami kata-kata secara langsung, mereka hanya mengerti angka. Lalu bagaimana komputer bisa “memahami” teks? Jawabannya adalah melalui proses mengubah teks menjadi vektor, yang dikenal sebagai Text Embedding atau Word Embedding.

Sebuah vektor adalah representasi matematis dari sebuah kata atau kalimat dalam ruang berdimensi tinggi, dengan kata-kata dengan makna mirip berada berdekatan satu sama lain.

Bayangkan sebuah peta koordinat 2D, tapi dalam ratusan atau ribuan dimensi. Kata “Raja” dan “Ratu” berada berdekatan karena maknanya serupa. Kata “Apel” dan “Jeruk” juga berdekatan. Hubungan antar kata bahkan bisa dihitung secara matematis:

Teknik populer yang menghasilkan word embedding antara lain Word2Vec (Google, 2013), GloVe (Stanford), dan yang terbaru adalah embedding berbasis Transformer yang digunakan dalam LLM modern. Semakin canggih model, semakin kaya dan akurat representasi vektornya.

Apa itu LLM?

Large Language Model (LLM) adalah model AI yang dilatih dengan jumlah data teks yang sangat besar untuk memahami dan menghasilkan bahasa manusia. Kata “Large” merujuk pada dua hal: ukuran data pelatihan dan jumlah parameter dalam model.

LLM modern hampir semuanya dibangun di atas arsitektur Transformer, yang diperkenalkan Google pada paper “Attention is All You Need” (2017). Kunci inovasinya adalah mekanisme self-attention, yaitu kemampuan model untuk mempertimbangkan konteks dari seluruh teks secara bersamaan, bukan kata per kata secara berurutan.

Cara kerja LLM secara sederhana: LLM menerima teks input → mengubahnya menjadi token → memproses melalui ratusan layer transformasi → menghasilkan prediksi kata berikutnya berdasarkan probabilitas → mengulang hingga jawaban selesai.

Proses pelatihan LLM terdiri dari dua tahap utama: Pre-training (belajar dari dataset besar secara unsupervised) dan Fine-tuning (disesuaikan untuk tugas spesifik, sering menggunakan RLHF — Reinforcement Learning from Human Feedback) agar model lebih aman dan berguna.

Apa itu Token dalam LLM

LLM tidak memproses teks karakter per karakter atau kata per kata. Unit terkecil yang diproses LLM disebut token. Token bisa berupa sebuah kata utuh, sebagian kata, tanda baca, atau bahkan spasi.

Sebagai gambaran: 1 token ≈ 0,75 kata dalam bahasa Inggris. Jadi 100 token ≈ 75 kata. Bahasa Indonesia dan non-Latin cenderung membutuhkan lebih banyak token per kata karena tokenizer dioptimalkan untuk bahasa Inggris.

Mau hitung token? Coba platform.openai.com/tokenizer atau tiktokenizer.vercel.app. Paste teksmu dan lihat bagaimana model memotongnya menjadi token!

Apa itu Parameter dalam LLM

Jika token adalah “makanan” yang dikonsumsi LLM, maka parameter adalah “kecerdasan” yang dimilikinya. Parameter adalah bobot numerik (angka-angka) yang tersimpan di dalam neural network model, yaitu hasil dari proses pelatihan berbulan-bulan menggunakan ribuan GPU.

Setiap parameter menyimpan sedikit “pengetahuan” tentang bahasa, fakta dunia, logika, atau pola. Ketika model menjawab pertanyaanmu, jutaan hingga miliaran parameter ini berinteraksi secara matematis untuk menghasilkan respons yang tepat.

Namun, lebih banyak parameter tidak selalu berarti lebih baik. Model yang lebih kecil tetapi dilatih dengan data berkualitas tinggi dan teknik fine-tuning canggih bisa mengalahkan model yang lebih besar. Ini adalah prinsip di balik kesuksesan model-model efisien seperti Mistral 7B atau Phi-3 dari Microsoft.

Model dengan 7 miliar parameter membutuhkan sekitar 14 GB VRAM GPU untuk berjalan. Model 70B butuh ~140 GB. Inilah mengapa LLM besar hanya bisa dijalankan di cloud, bukan di laptop biasa.

---

Demikian tulisan ini, semoga bermanfaat dan Happy Coding!