Dalam lompatan signifikan dalam pengembangan mannequin bahasa besar (LLM), Mistral AI mengumumkan peluncuran mannequin terbarunya, Mixtral-8x7B.
magnet:?xt=guci:btih:5546272da9065eddeb6fcd7ffddeef5b75be79a7&dn=mixtral-8x7b-32kseqlen&tr=udppercent3Apercent2F%
LEPASKAN a6bbd9affe0c2725c1b7410d66833e24
– Mistral AI (@MistralAI) 8 Desember 2023
Apa itu Mixtral-8x7B?
Mixtral-8x7B dari Mistral AI adalah mannequin Combination of Specialists (MoE) yang dirancang untuk meningkatkan cara mesin memahami dan menghasilkan teks.
Bayangkan sebagai sebuah tim yang terdiri dari para ahli terspesialisasi, masing-masing ahli di bidang berbeda, bekerja sama untuk menangani berbagai jenis informasi dan tugas.
Sebuah laporan yang diterbitkan pada bulan Juni dilaporkan menjelaskan seluk-beluk GPT-4 OpenAI, menyoroti bahwa OpenAI menggunakan pendekatan serupa dengan KLH, memanfaatkan 16 pakar, masing-masing dengan sekitar 111 miliar parameter, dan mengarahkan dua pakar per ahead go untuk mengoptimalkan biaya.
Pendekatan ini memungkinkan mannequin untuk mengelola information yang beragam dan kompleks secara efisien, sehingga berguna dalam membuat konten, terlibat dalam percakapan, atau menerjemahkan bahasa.
Metrik Kinerja Mixtral-8x7B
Mannequin baru Mistral AI, Mixtral-8x7B, mewakili langkah maju yang signifikan dari mannequin sebelumnya, Mistral-7B-v0.1.
Ini dirancang untuk memahami dan membuat teks dengan lebih baik, fitur utama bagi siapa saja yang ingin menggunakan AI untuk tugas menulis atau komunikasi.
LLM beban terbuka baru dari @MistralAI
params.json:
– tersembunyi_dim / redup = 14336/4096 => 3,5X MLP diperluas
– n_heads / n_kv_heads = 32/8 => 4X multikueri
– “moe” => campuran ahli 8X teratas 2 👀Kemungkinan kode terkait:
Anehnya absen: latihan yang berlebihan… pic.twitter.com/xMDRj3WAVh
— Andrej Karpati (@karpati) 8 Desember 2023
Penambahan terbaru pada keluarga Mistral ini menjanjikan untuk merevolusi lanskap AI dengan metrik kinerjanya yang ditingkatkan, seperti yang dibagikan oleh OpenCompass.
Apa yang membuat Mixtral-8x7B menonjol bukan hanya peningkatannya dibandingkan versi Mistral AI sebelumnya, namun juga kemampuannya dibandingkan dengan mannequin seperti Llama2-70B dan Qwen-72B.
Ibarat memiliki asisten yang bisa memahami ide-ide kompleks dan mengungkapkannya dengan jelas.
Salah satu kekuatan utama Mixtral-8x7B adalah kemampuannya untuk menangani tugas-tugas khusus.
Misalnya, kinerjanya sangat baik dalam pengujian khusus yang dirancang untuk mengevaluasi mannequin AI, yang menunjukkan bahwa kinerjanya bagus dalam pemahaman dan pembuatan teks umum serta unggul di lebih banyak bidang khusus.
Hal ini menjadikannya alat yang berharga bagi profesional pemasaran dan pakar search engine marketing yang membutuhkan AI yang dapat beradaptasi dengan berbagai konten dan persyaratan teknis.
Kemampuan Mixtral-8x7B untuk menangani masalah matematika dan pengkodean yang kompleks juga menunjukkan bahwa ini dapat menjadi bantuan yang berguna bagi mereka yang bekerja di aspek teknis search engine marketing, di mana pemahaman dan penyelesaian tantangan algoritmik sangatlah penting.
Mannequin baru ini dapat menjadi mitra yang serbaguna dan cerdas untuk berbagai konten digital dan kebutuhan strategi.
Cara Mencoba Mixtral-8x7B: 4 Demo
Anda dapat bereksperimen dengan mannequin baru Mistral AI, Mixtral-8x7B, untuk melihat responsnya terhadap kueri dan kinerjanya dibandingkan dengan mannequin sumber terbuka lainnya dan GPT-4 OpenAI.
Harap dicatat bahwa, seperti semua konten AI generatif, platform yang menjalankan mannequin baru ini mungkin menghasilkan informasi yang tidak akurat atau hasil yang tidak diinginkan.
Masukan pengguna untuk mannequin baru seperti ini akan membantu perusahaan seperti Mistral AI meningkatkan versi dan mannequin masa depan.
1. Taman Bermain Lab Kebingungan
Di Perplexity Labs, Anda dapat mencoba Mixtral-8x7B bersama dengan Llama 2 dari Meta AI, Mistral-7b, dan LLM on-line baru dari Perplexity.
Dalam contoh ini, saya bertanya tentang mannequin itu sendiri dan memperhatikan bahwa instruksi baru ditambahkan setelah respons awal untuk memperluas konten yang dihasilkan tentang kueri saya.
Tangkapan layar dari Perplexity, Desember 2023Meskipun jawabannya terlihat benar, jawabannya mulai terulang kembali.
Tangkapan layar dari Perplexity Labs, Desember 2023Mannequin tersebut memberikan jawaban lebih dari 600 kata untuk pertanyaan, “Apa itu search engine marketing?”
Sekali lagi, instruksi tambahan muncul sebagai “tajuk” untuk memastikan jawaban yang komprehensif.
Tangkapan layar dari Perplexity Labs, Desember 20232. Puisi
Poe menghosting bot untuk LLM populer, termasuk GPT-4 dan DALL·E 3 OpenAI, Llama 2 dan Code Llama dari Meta AI, PaLM 2 Google, Claude-instant dan Claude 2 dari Anthropic, dan StableDiffusionXL.
Bot ini mencakup spektrum kemampuan yang luas, termasuk pembuatan teks, gambar, dan kode.
Bot Mixtral-8x7B-Chat dioperasikan oleh Fireworks AI.
Tangkapan layar dari Poe, Desember 2023Perlu dicatat bahwa halaman Fireworks menetapkan bahwa ini adalah “implementasi tidak resmi” yang telah disesuaikan untuk chat.
Ketika ditanya apa backlink terbaik untuk search engine marketing, jawabannya legitimate.
Tangkapan layar dari Poe, Desember 2023Bandingkan ini dengan respons yang ditawarkan oleh Google Bard.
Tangkapan layar dari Google Bard, Desember 20233. Vercel
Vercel menawarkan demo Mixtral-8x7B yang memungkinkan pengguna membandingkan respons dari mannequin Anthropic, Cohere, Meta AI, dan OpenAI yang populer.
Tangkapan layar dari Vercel, Desember 2023Ini menawarkan perspektif menarik tentang bagaimana setiap mannequin menafsirkan dan merespons pertanyaan pengguna.
Tangkapan layar dari Vercel, Desember 2023Seperti banyak LLM, terkadang ia berhalusinasi.
Tangkapan layar dari Vercel, Desember 20234. Replikasi
Demo mixtral-8x7b-32 di Replikasi didasarkan pada kode sumber ini. README juga mencatat bahwa “Inferensi sangat tidak efisien.”
Tangkapan layar dari Replikasi, Desember 2023Dalam contoh di atas, Mixtral-8x7B mendeskripsikan dirinya sebagai sebuah sport.
Kesimpulan
Rilis terbaru Mistral AI menetapkan tolok ukur baru di bidang AI, menawarkan peningkatan kinerja dan fleksibilitas. Tapi seperti kebanyakan LLM, ini bisa memberikan jawaban yang tidak akurat dan tidak terduga.
Seiring dengan terus berkembangnya AI, mannequin seperti Mixtral-8x7B dapat menjadi bagian integral dalam membentuk alat AI canggih untuk pemasaran dan bisnis.
Gambar unggulan: T. Schneider/Shutterstock
