Divisi yang fokus pada penelitian dasar dan terapan, Google Research memperkenalkan SensorLM, keluarga baru model fondasi sensor-bahasa yang dirancang untuk meningkatkan interpretasi data sensor wearable berdimensi tinggi. Dilatih dengan 59,7 juta jam input sensor multimodal dari lebih dari 103.000 individu, SensorLM mampu menghasilkan deskripsi yang rinci dan dapat dibaca manusia dari sinyal sensor yang kompleks, menetapkan tolok ukur baru di bidang analisis data sensor.
Untuk mengembangkan dataset pelatihan untuk SensorLM, sekitar 2,5 juta hari orang dari data sensor yang tidak teridentifikasi diambil dari 103.643 peserta di 127 negara. Data ini dikumpulkan dari perangkat Fitbit dan Pixel Watch selama periode dari 1 Maret hingga 1 Mei 2024, dengan semua peserta memberikan persetujuan yang diinformasikan untuk penggunaan data anonim mereka dalam penelitian yang bertujuan untuk meningkatkan pengetahuan umum di bidang kesehatan dan sains.
Peneliti mengimplementasikan jalur hierarkis otomatis yang menghasilkan keterangan deskriptif dengan menghitung statistik, mengenali pola, dan merangkum peristiwa secara langsung dari data sensor untuk mengatasi tantangan pelabelan data berskala besar. Pendekatan ini memungkinkan penciptaan dataset terbesar yang diketahui saat ini yang menyelaraskan input sensor dengan bahasa, melampaui skala dataset yang digunakan dalam penelitian sebelumnya.
Arsitektur SensorLM menggabungkan dan menyelaraskan metodologi pra-pelatihan multimodal yang banyak digunakan, terutama pembelajaran kontras dan pra-pelatihan generatif, ke dalam suatu kerangka kerja yang terintegrasi. Dalam fase pembelajaran kontras, model dilatih untuk mengaitkan segmen data sensor dengan deskripsi tekstual yang tepat yang dipilih dari sekelompok alternatif.
Proses ini memungkinkan model untuk secara akurat membedakan antara berbagai aktivitas fisik atau keadaan fisiologis, seperti membedakan antara renang ringan dan latihan yang berfokus pada kekuatan. Dalam fase pelatihan awal generatif, model belajar untuk menghasilkan deskripsi tekstual langsung dari input sensor, meningkatkan kemampuannya untuk menyampaikan interpretasi yang kompleks dan sensitif terhadap konteks dari data berdimensi tinggi. Integrasi strategi pelatihan ini memungkinkan SensorLM untuk membentuk pemahaman multimodal yang komprehensif dan bernuansa tentang bagaimana data sensor dipetakan ke dalam bahasa alami.
Eksperimen Mengungkap Kemampuan Lanjutan SensorLM Dalam Klasifikasi Tanpa Contoh, Pembelajaran Beberapa Contoh, Dan Pemahaman Lintas Modal
Menurut Penelitian Google, kinerja SensorLM dinilai di berbagai skenario dunia nyata yang melibatkan pengenalan aktivitas manusia dan aplikasi kesehatan, menunjukkan peningkatan yang jelas dibandingkan model-model terkemuka yang ada di bidang ini. SensorLM berkinerja sangat baik di lingkungan dengan data berlabel yang terbatas. Ini menunjukkan kemampuan klasifikasi zero-shot yang kuat, dengan benar mengidentifikasi 20 aktivitas berbeda tanpa memerlukan penyesuaian model, dan menunjukkan pembelajaran few-shot yang efektif, dengan cepat beradaptasi dengan tugas baru dengan contoh minimal. Fungsionalitas pengambilan lintas-modalnya juga memungkinkan saling interpretabilitas antara data sensor dan bahasa alami, memungkinkan pengguna untuk mencari pola sensor menggunakan teks atau menghasilkan deskripsi relevan dari input sensor—pendekatan yang mendukung alur kerja analisis ahli.
Selain klasifikasi, SensorLM mampu menghasilkan ringkasan teks yang terstruktur dan peka konteks berdasarkan input sensor yang dapat dikenakan. Perbandingan eksperimental menunjukkan bahwa keluaran ini umumnya lebih koheren dan akurat dibandingkan dengan yang dihasilkan oleh model bahasa tidak spesifik domain. Penelitian juga mengamati bahwa kinerja SensorLM meningkat secara konsisten seiring dengan peningkatan data pelatihan, ukuran model, dan sumber daya komputasi, sejalan dengan prinsip-prinsip yang telah ditetapkan sebelumnya dalam skala model. Temuan ini menunjukkan bahwa pendekatan ini masih berada dalam fase awal potensi dan memerlukan eksplorasi lebih lanjut.
Pengembangan SensorLM memperkenalkan kerangka kerja untuk menginterpretasikan data sensor wearable yang kompleks melalui bahasa alami. Ini dimungkinkan oleh metode penggambaran hierarkis yang baru dikembangkan dan apa yang diyakini sebagai dataset sensor-bahasa terbesar yang dirakit hingga saat ini. Akibatnya, keluarga model SensorLM memberikan kemajuan dalam meningkatkan aksesibilitas dan utilitas data kesehatan pribadi. Dengan memungkinkan mesin untuk menginterpretasikan sinyal fisiologis melalui bahasa, pekerjaan ini meletakkan dasar untuk umpan balik kesehatan yang lebih disesuaikan dan informatif. Upaya di masa depan akan mengeksplorasi perluasan ke domain seperti profil metabolik dan pemantauan tidur lanjutan, dengan tujuan yang lebih luas untuk mendukung alat kesehatan yang dipersonalisasi, sistem pemantauan klinis, dan asisten kesehatan digital yang mampu berinteraksi dengan bahasa alami. Pengembangan dan penerapan produk masa depan apa pun berdasarkan penelitian ini mungkin akan tunduk pada validasi klinis dan pengawasan regulasi.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Google Mempersembahkan SensorLM yang Menerjemahkan Sinyal Sensor Menjadi Wawasan Kesehatan yang Berfokus pada Manusia
Divisi yang fokus pada penelitian dasar dan terapan, Google Research memperkenalkan SensorLM, keluarga baru model fondasi sensor-bahasa yang dirancang untuk meningkatkan interpretasi data sensor wearable berdimensi tinggi. Dilatih dengan 59,7 juta jam input sensor multimodal dari lebih dari 103.000 individu, SensorLM mampu menghasilkan deskripsi yang rinci dan dapat dibaca manusia dari sinyal sensor yang kompleks, menetapkan tolok ukur baru di bidang analisis data sensor.
Untuk mengembangkan dataset pelatihan untuk SensorLM, sekitar 2,5 juta hari orang dari data sensor yang tidak teridentifikasi diambil dari 103.643 peserta di 127 negara. Data ini dikumpulkan dari perangkat Fitbit dan Pixel Watch selama periode dari 1 Maret hingga 1 Mei 2024, dengan semua peserta memberikan persetujuan yang diinformasikan untuk penggunaan data anonim mereka dalam penelitian yang bertujuan untuk meningkatkan pengetahuan umum di bidang kesehatan dan sains.
Peneliti mengimplementasikan jalur hierarkis otomatis yang menghasilkan keterangan deskriptif dengan menghitung statistik, mengenali pola, dan merangkum peristiwa secara langsung dari data sensor untuk mengatasi tantangan pelabelan data berskala besar. Pendekatan ini memungkinkan penciptaan dataset terbesar yang diketahui saat ini yang menyelaraskan input sensor dengan bahasa, melampaui skala dataset yang digunakan dalam penelitian sebelumnya.
Arsitektur SensorLM menggabungkan dan menyelaraskan metodologi pra-pelatihan multimodal yang banyak digunakan, terutama pembelajaran kontras dan pra-pelatihan generatif, ke dalam suatu kerangka kerja yang terintegrasi. Dalam fase pembelajaran kontras, model dilatih untuk mengaitkan segmen data sensor dengan deskripsi tekstual yang tepat yang dipilih dari sekelompok alternatif.
Proses ini memungkinkan model untuk secara akurat membedakan antara berbagai aktivitas fisik atau keadaan fisiologis, seperti membedakan antara renang ringan dan latihan yang berfokus pada kekuatan. Dalam fase pelatihan awal generatif, model belajar untuk menghasilkan deskripsi tekstual langsung dari input sensor, meningkatkan kemampuannya untuk menyampaikan interpretasi yang kompleks dan sensitif terhadap konteks dari data berdimensi tinggi. Integrasi strategi pelatihan ini memungkinkan SensorLM untuk membentuk pemahaman multimodal yang komprehensif dan bernuansa tentang bagaimana data sensor dipetakan ke dalam bahasa alami.
Eksperimen Mengungkap Kemampuan Lanjutan SensorLM Dalam Klasifikasi Tanpa Contoh, Pembelajaran Beberapa Contoh, Dan Pemahaman Lintas Modal
Menurut Penelitian Google, kinerja SensorLM dinilai di berbagai skenario dunia nyata yang melibatkan pengenalan aktivitas manusia dan aplikasi kesehatan, menunjukkan peningkatan yang jelas dibandingkan model-model terkemuka yang ada di bidang ini. SensorLM berkinerja sangat baik di lingkungan dengan data berlabel yang terbatas. Ini menunjukkan kemampuan klasifikasi zero-shot yang kuat, dengan benar mengidentifikasi 20 aktivitas berbeda tanpa memerlukan penyesuaian model, dan menunjukkan pembelajaran few-shot yang efektif, dengan cepat beradaptasi dengan tugas baru dengan contoh minimal. Fungsionalitas pengambilan lintas-modalnya juga memungkinkan saling interpretabilitas antara data sensor dan bahasa alami, memungkinkan pengguna untuk mencari pola sensor menggunakan teks atau menghasilkan deskripsi relevan dari input sensor—pendekatan yang mendukung alur kerja analisis ahli.
Selain klasifikasi, SensorLM mampu menghasilkan ringkasan teks yang terstruktur dan peka konteks berdasarkan input sensor yang dapat dikenakan. Perbandingan eksperimental menunjukkan bahwa keluaran ini umumnya lebih koheren dan akurat dibandingkan dengan yang dihasilkan oleh model bahasa tidak spesifik domain. Penelitian juga mengamati bahwa kinerja SensorLM meningkat secara konsisten seiring dengan peningkatan data pelatihan, ukuran model, dan sumber daya komputasi, sejalan dengan prinsip-prinsip yang telah ditetapkan sebelumnya dalam skala model. Temuan ini menunjukkan bahwa pendekatan ini masih berada dalam fase awal potensi dan memerlukan eksplorasi lebih lanjut.
Pengembangan SensorLM memperkenalkan kerangka kerja untuk menginterpretasikan data sensor wearable yang kompleks melalui bahasa alami. Ini dimungkinkan oleh metode penggambaran hierarkis yang baru dikembangkan dan apa yang diyakini sebagai dataset sensor-bahasa terbesar yang dirakit hingga saat ini. Akibatnya, keluarga model SensorLM memberikan kemajuan dalam meningkatkan aksesibilitas dan utilitas data kesehatan pribadi. Dengan memungkinkan mesin untuk menginterpretasikan sinyal fisiologis melalui bahasa, pekerjaan ini meletakkan dasar untuk umpan balik kesehatan yang lebih disesuaikan dan informatif. Upaya di masa depan akan mengeksplorasi perluasan ke domain seperti profil metabolik dan pemantauan tidur lanjutan, dengan tujuan yang lebih luas untuk mendukung alat kesehatan yang dipersonalisasi, sistem pemantauan klinis, dan asisten kesehatan digital yang mampu berinteraksi dengan bahasa alami. Pengembangan dan penerapan produk masa depan apa pun berdasarkan penelitian ini mungkin akan tunduk pada validasi klinis dan pengawasan regulasi.