AI Series:Deploy LLM Lokal dengan Ollama dan LM Studio

Selama ini kamu mungkin mengakses model AI melalui API — ChatGPT, Claude, Gemini — di mana setiap prompt yang kamu kirim berjalan di server orang lain. Itu tidak masalah untuk kebanyakan kasus. Tapi ada situasi di mana kamu butuh lebih dari sekadar “akses”.

Privasi

Data perusahaan, dokumen sensitif, atau informasi pengguna tidak boleh keluar ke server eksternal.

Offline

Kamu bekerja di lingkungan tanpa koneksi internet, atau butuh sistem yang tetap jalan meski layanan cloud down.

Latensi

Tidak ada round-trip ke server — model berjalan langsung di memori mesinmu, responsnya bisa lebih cepat untuk use case tertentu.

Biaya

Setelah hardware, inferensi lokal gratis. Tidak ada billing per token.

Artikel ini akan memandu kamu menjalankan LLM di komputer atau server sendiri menggunakan dua tool paling populer saat ini: Ollama dan LM Studio.

LLM Lokal vs Cloud API: Kapan Mana yang Lebih Tepat?

Sebelum lanjut, penting untuk jujur: LLM lokal bukan selalu lebih baik. Ini perbandingannya:

Untuk eksperimen, RAG internal, atau pipeline yang mengolah data sensitif, LLM lokal adalah pilihan yang masuk akal. Untuk aplikasi skala besar atau yang butuh model terfrontier seperti GPT-4o atau Claude Opus, cloud API masih lebih praktis.

1. Mengenal Ollama

Ollama adalah tool command-line yang menyederhanakan proses download, manajemen, dan eksekusi LLM di komputer lokal. Analoginya seperti docker tapi untuk model bahasa — satu perintah untuk pull model, satu perintah untuk jalankan.

Di balik layar, Ollama menangani konversi model ke format GGUF, memilih backend inferensi yang tepat (CPU, CUDA untuk NVIDIA, Metal untuk Apple Silicon, ROCm untuk AMD), dan menyajikan REST API yang bisa dipanggil oleh aplikasimu.

Instalasi

curl -fsSL | sh

Perintah Dasar Ollama

Setelah terinstal, server Ollama berjalan di http://localhost:11434. Berikut perintah-perintah yang paling sering dipakai:

REST API Bawaan Ollama

Ollama secara otomatis menyajikan REST API di localhost:11434. Yang penting: API ini kompatibel dengan format OpenAI API, artinya library atau tool yang biasa kamu pakai dengan OpenAI bisa langsung diganti endpoint-nya ke Ollama tanpa banyak perubahan kode.

Contoh memanggil Ollama langsung lewat curl:

curl  -d '{
"model": "llama3.2",
"messages": [{"role": "user", "content": "Jelaskan apa itu RAG dalam 2 kalimat"}],
"stream": false
}'

2. Mengenal LM Studio

LM Studio adalah aplikasi desktop dengan antarmuka grafis (GUI) untuk menjalankan LLM lokal. Cocok jika kamu lebih nyaman berinteraksi lewat tampilan visual, atau ingin kendali detail atas pengaturan GPU dan memori.

Download dari lmstudio.ai. Tersedia untuk macOS, Windows, dan Linux.

Fitur Utama LM Studio

Kapan Pilih LM Studio vs Ollama?

Untuk membangun pipeline RAG atau integrasi ke aplikasi, Ollama biasanya lebih praktis karena lebih mudah diotomasi. LM Studio unggul untuk eksplorasi — mencoba berbagai model dan menyesuaikan parameter tanpa harus hafal perintah.

3. Kapabilitas Model: Tidak Semua Model Sama

Salah satu hal yang membingungkan ketika pertama kali menjelajahi Ollama library atau HuggingFace adalah banyaknya pilihan model. Sebelum memilih, penting untuk mengerti bahwa model-model ini berbeda bukan hanya soal ukuran, tapi juga jenis kapabilitas yang mereka miliki.

Text Generation

Kapabilitas paling dasar — model menerima teks, menghasilkan teks. Cocok untuk: menjawab pertanyaan, merangkum, menerjemahkan, menulis konten. Hampir semua model punya kapabilitas ini.

Contoh di Ollama: llama3.2, mistral, gemma3, qwen2.5

Multimodal (Vision)

Model yang bisa menerima input berupa gambar + teks sekaligus. Berguna untuk: menganalisis screenshot, membaca diagram, mendeskripsikan foto.

Contoh di Ollama: llama3.2-vision, llava, gemma3 (versi tertentu), minicpm-v

ollama run llama3.2-vision
# Setelah masuk sesi chat, kamu bisa drag-drop gambar ke terminal

Tool / Function Calling

Model yang dilatih untuk mengenali kapan ia perlu memanggil fungsi eksternal dan menghasilkan output terstruktur (biasanya JSON) yang sesuai dengan spesifikasi tool yang kamu definisikan. Ini fondasi untuk membangun AI agent.

Contoh di Ollama: llama3.1, qwen2.5, mistral, command-r

Catatan: Tidak semua model yang klaim support tool calling punya kualitas yang sama. Qwen2.5 dan Llama 3.1 dikenal cukup reliable untuk ini.

Embedding Model

Model khusus yang mengubah teks menjadi vektor numerik (representasi matematika makna teks). Output-nya bukan teks, melainkan array angka — misalnya 768 atau 1024 dimensi. Embedding ini yang dipakai untuk menyimpan dokumen ke vector database dan melakukan pencarian semantik dalam pipeline RAG.

Contoh di Ollama: nomic-embed-text, mxbai-embed-large, bge-m3

ollama pull nomic-embed-text
# Embedding model tidak bisa di-run interaktif, hanya via API

Reranker Model

Model yang bertugas mengurutkan ulang daftar dokumen berdasarkan relevansinya terhadap query. Dalam pipeline RAG, reranker dipakai setelah retrieval awal untuk memastikan dokumen yang paling relevan masuk ke konteks LLM.

Contoh: bge-reranker-v2-m3 (tersedia via Ollama atau langsung dari HuggingFace)

Embedding dan reranker akan dibahas lebih detail di Artikel 4: Mengenal RAG dan Vector Database.

4. Jenis Model Berdasarkan Spesialisasi

Selain kapabilitas, model juga dibedakan berdasarkan spesialisasi — dilatih atau di-fine-tune untuk unggul di domain tertentu.

ollama run qwen2.5-coder

ollama run deepseek-r1
 # Perhatikan "thinking" token yang muncul sebelum jawaban final

ollama run llama3.2:1b # hanya ~800 MB

Cara Membaca Nama Model

Nama model di Ollama dan HuggingFace mengikuti konvensi tertentu. Contoh: qwen2.5-coder:14b-instruct-q4_K_M

Soal quantization — ini adalah teknik kompresi yang menurunkan presisi bobot model untuk menghemat memori. Semakin rendah bit-nya, semakin kecil file-nya tapi semakin ada penurunan kualitas:

Untuk penggunaan sehari-hari, q4_K_M adalah sweet spot yang paling sering direkomendasikan komunitas.

5. Knowledge Cutoff: Batas Pengetahuan Model

Satu hal yang sering dilupakan: LLM punya tanggal batas pengetahuan, disebut knowledge cutoff. Model dilatih dengan data yang dikumpulkan hingga tanggal tertentu — setelah itu, ia tidak tahu apa yang terjadi.

Konsekuensinya:

• Model tidak tahu regulasi, kebijakan, atau produk yang terbit setelah cutoff-nya
• Model tidak bisa mengakses dokumen internal perusahaanmu yang tidak pernah masuk ke dataset training
• Bahkan fakta yang berubah — seperti harga, posisi jabatan, atau status proyek — bisa keliru

Ini bukan bug, ini sifat bawaan dari cara model dilatih.

Dua Solusi Utama

RAG dibahas mendalam di Artikel 4, fine-tuning di Artikel 6.

6. Memilih Model yang Tepat

Memilih model bukan soal “mana yang terbesar” — tapi mana yang cukup untuk kebutuhanmu dan muat di hardware yang kamu punya.

Panduan RAM / VRAM

Aturan praktis: ukuran model dalam GB ≈ jumlah parameter × presisi. Untuk estimasi cepat dengan quantization q4_K_M:

Jika RAM tidak cukup untuk menampung model sepenuhnya, Ollama akan melakukan offloading ke CPU — model tetap jalan tapi jauh lebih lambat.

Suplemen lebih detail tentang cara memilih model berdasarkan benchmark, leaderboard, dan use case spesifik akan diterbitkan terpisah.

Di Mana Menemukan dan Membandingkan Model?

ollama.com/library

Daftar model yang siap pakai dengan Ollama, lengkap dengan ukuran dan tag kapabilitas.

HF Leaderboard

Benchmark objektif model open-source di berbagai tugas.

lmarena.ai

Ranking berdasarkan preferensi manusia secara blind test (dulunya LMSYS Chatbot Arena).

Saran praktis: mulai dari model yang sudah banyak dicoba komunitas. Jika kamu butuh model coding, coba qwen2.5-coder:7b dulu — ukurannya masuk di laptop 8 GB dan performanya sudah sangat kompetitif.

Menjalankan LLM lokal bukan lagi wilayah eksklusif peneliti atau perusahaan besar. Dengan Ollama atau LM Studio, kamu bisa download dan jalankan model dalam hitungan menit — dan mulai bereksperimen dengan RAG, AI agent, atau fine-tuning di lingkungan yang sepenuhnya kamu kendalikan.

Demikian tulisan ini, semoga bermanfaat dan Happy Coding!