Sani khursani8

Popular posts

1. Apa perbezaan antara base dan instruct?

   Introduction Dah lama nak post benda ni, tapi malas nak clone balik repo dan setup. Ini adalah sambungan sharing daripada yang sebelum ni https://khursani.xyz/post/instructvector/ dan https://x.com/khursani8/status/1849073692145574147 Untuk post ni aku nak share apa yang aku jumpa untuk tahun ni, mostly in term of apa beza dari segi weights antara Base(Pretraining) dengan Instruct(Template) punya model. Sebab dari situ baru bole tau layer mana patut tune atau patut merge. Large Language Model Architecture LLM yang standard sekarang adalah Llama punya architecture.

2. Yapping

   Ini adalah list yg aku buat based on apa aku dpt dari community lain dan list apa local community kita buat, local community focus more on llm dan lambat untuk explore sendiri benda baru Sebelum ni apa aku buat based on apa community lain buat vectordb 14/3/23 - https://twitter.com/khursani8/status/1635490473312919553 voice conversion 6/2/23 - https://x.com/khursani8/status/1622548019706216448?s=46&t=KgPtmqLaM0tK9HeoMI1fZg stable diffusion 1/3/23 - https://twitter.com/khursani8/status/1630776772907388930 llama qlora finetune 21/7/23 - https://twitter.com/khursani8/status/1682397593756917761 clean llm data 25/7/23 - https://twitter.

3. Instructvector

   Introduction Semalam Facebook release llama3, macam biasa dia hanya fokus dekat English dan juga English benchmark. Mula2 nak try buat merging tapi tak ada model lagi yang dah finetune llama3 untuk Bahasa Melayu. So aku finetune sendiri dan apply instruct vector aku extract dari llama3 instruct supaya model base llama3 yang dah finetune ke Malay boleh follow instruction dan jawab dalam Malay. Apa beza Base, Instruct dengan Chat? Dekat atas ni contoh flow untuk dapatkan Chat model

4. Makan angin

   Buat 3d model pakai nerfstudio Pengenalan Seminggu sebelum CNY aku kena paksa gi melancong, sambil melancong terjumpa benda menarik so aku just collect dataset sambil berjalan Aku dari dulu nak buat 3d model pakai nerf atau gaussian splatting cuma tak keluar rumah, so sambil keluar rumah boleh laa scrape real world Apa tu 3D Reconstruction? 3D reconstruction adalah process untuk create 3d representation objek atau scene daripada gambar 2d atau sensor.

5. Cakappp

   Pakai Sadtalker utk lipsync Pembuka Hari ini AI untuk rakyat telah diluncurkan, benda pertama yang menarik perhatian aku(sebab tak dapat register website dia lol) adalah AI announcer? A.K.A Intan dimana dia combine Text to Speech(TTS) dan syntesis gambar. So far based on experience aku, benda ni probably pakai SadTalker atau adik beradik dia. Apa tu SadTalker? SadTalker adalah model untuk buat animation terhadap gambar kepala yang menggunakan audio suara sebagai input.

6. Journey for Text Generation

   1.https://cs.stanford.edu/~zxie/textgen.pdf In Introduction the author talk about the tradeoff between Rule-based and Neural e2e method  WIP