SLIDE 15

Sistem Multi- Sensory

Ikhtisar

Sistem multi-indera menggunakan lebih dari satu indera channel dalam interaksi Misalnya suara , teks, hypertext , animasi , video, gerakan, dll. Digunakan dalam berbagai aplikasi, sangat baik untuk pengguna dengan kebutuhan khusus, dan virtual reality.

Ringkasan Topik

Berikut topik yang akan dibahas :

•         terminologi umum

•         pengenalan

•         suara non -speech

•         tulisan tangan

•         teks dan hypertext

•         animasi dan video

mempertimbangkan aplikasi serta prinsip-prinsip

Senses Usable

Ada 5 indra ( penglihatan, suara , sentuhan , rasa dan bau ) digunakan oleh kita setiap hari

•         masing-masing memiliki peran penting.

•         Keamaan itu, mereka menyediakan interaksi yang lebih lengkap dengan lingupnya.

Komputer jarang memberikan interaksi yang seperti itu.

Dapatkah kita menggunakan semua indera yang tersedia ?

idealnya , ya

praktis - tidak ada

Kita dapat menggunakan

•         Bunyi

•         sentuh ( kadang-kadang )

Kita tidak bisa ( belum) menggunakan

•         rasa

•         bau

Multi-modal vs Multi-media

Sistem multi -modal

•         menggunakan lebih dari satu arti ( atau mode) dari interaksi

misalnya : visual dan indra : prosesor mungkin dapat berkomunikasi ke layar monitor.

Sistem multi -media

•         menggunakan sejumlah media yang berbeda untuk mengkomunikasikan informasi

misalnya : sistem pengajaran berbasis komputer dapat menggunakan video, animasi , teks dan gambar diam : media yang berbeda semua menggunakan modus visual interaksi . Hal ini juga dapat menggunakan suara , baik langsung maupun tidak langsung : dua media yang lebih , sekarang menggunakan modus yang berbeda .

Speech

Manusia memiliki penguasaan yang besar dan alami dalam berbicara

•         membuatnya sulit untuk menghargai kerumitan, tetapi ini merupakan media yang mudah untuk komunikasi

Struktur Speech

•         fonem - 40 dari mereka : unit atom dasar, yang terdengar sedikit berbeda tergantung pada konteks keberadaan mereka lebih besar dari suara.

•         alofon - semua suara dalam bahasa : antara 120 dan 130 dari mereka . Ini terbentuk menjadi Unit morfem - terkecil dari bahasa yang memiliki arti.

Terminologi lain:

•         prosodi - perubahan dalam nada dan kualitas : memungkinkan variasi penekanan , tegangan, jeda dan pitch memberikan lebih banyak makna kalimat .

•         co - artikulasi - pengaruh konteks pada suara ; co - artikulasi mengubah set fonem ke dalam set alofon .

•         sintaks - struktur kalimat

•         semantik - makna kalimat

Pengenalan Masalah Speech

Orang yang berbeda dalam berbicara dalam : aksen, intonasi, tegangan, idiom , volume dan sebagainya semua berbeda.

Sintaks dari kalimat semantik mungkin bervariasi .

Suara latar belakang dapat mengganggu .

Orang sering " ummm ..... " atau " errr ..... "

Menyadari kata-kata bukanlah tujuan akhir dari sebuah Sistem pengenalan suara : semantik harus diekstrak juga. Hal ini sering membutuhkan intelijen untuk memahami kalimat : konteks bicara harus diketahui , seperti halnya informasi tentang subjek dan pembicara .

contoh:

misalkan

" Errr .... Aku , bukan , tidak seperti ini " diakui , itu adalah bagian cukup berguna dari informasi tentang itu sendiri

The Fonetik Typewriter

Dikembangkan untuk Finlandia ( bahasa fonetik , ditulis seperti yang dikatakan ). Dilatih di satu pembicara , akan menggeneralisasi kepada orang lain . Sebuah jaringan saraf dilatih mengelompok bersama-sama seperti suara , yang kemudian diberi label dengan sesuai karakter . Ketika mengenali suara diucapkan adalah dialokasikan ke output yang terdekat, dan karakter untuk output yang dicetak .

•         membutuhkan kamus besar variasi kecil untuk mekanisme umum yang benar

•         kinerja terasa lebih miskin di speaker memiliki belum dilatih

Speech Recognition : saat ini berguna ?

Pengguna tunggal, sistem kosakata terbatas dapat bekerja memuaskan Tidak ada pengguna umum, sistem kosa kata umum sukses secara komersial , namun memiliki Potensi besar seperti :

•         ketika pengguna tangan sudah diduduki - manufaktur , misalnya

•         untuk pengguna dengan cacat fisik

•         ringan , perangkat mobile

Sintesis ucapan

Sintesis ucapan : generasi ucapan sangat berguna - cara alami dan akrab menerima Informasi. Masalah - mirip dengan pengakuan : prosodi khususnya masalah tambahan

•         mengganggu - baik memerlukan headphone , atau menciptakan kebisingan di tempat kerja

•         transient - lebih sulit untuk meninjau dan menelusuri keberhasilan dalam aplikasi dibatasi tertentu, biasanya ketika pengguna terutama termotivasi untuk mengatasi masalah dan memiliki beberapa alternatif

•         pembaca layar - membaca tampilan tekstual ke user: dimanfaatkan oleh orang-orang tunanetra

•         sinyal peringatan - informasi yang diucapkan kadang-kadang disajikan kepada pilot yang keterampilan visual dan haptic yang sudah terisi

Non -Speech Suara

Boings , poni , berderit , klik dll

•         umum digunakan dalam interface untuk memberikan peringatan dan alarm Bukti menunjukkan bahwa mereka berguna

•         kesalahan pengetikan sedikit dengan klik tombol

•         video game lebih keras tanpa suara

Dual mode display : informasi yang disajikan bersama dua saluran sensorik yang berbeda

Memungkinkan untuk presentasi berlebihan informasi - pengguna dapat memanfaatkan mana mereka menemukan termudah Memungkinkan resolusi ambiguitas dalam satu modus melalui

informasi yang terkandung dalam lainnya Suara sangat baik untuk informasi sementara, dan

informasi status latar belakang Hal ini juga bahasa / budaya independen , seperti

ucapan.

Contoh: Suara dapat digunakan sebagai modus berlebihan di Apple Macintosh ; hampir semua tindakan pengguna ( berkas seleksi, jendela aktif , insert disk, kesalahan pencarian ,

salinan lengkap , dll ) dapat memiliki suara yang berbeda terkait dengan itu .

Ikon auditory

Gunakan suara alam untuk mewakili berbagai jenis obyek atau tindakan Suara alam telah dikaitkan semantik yang dapat dipetakan ke arti yang sama dalam interaksi

•         misalnya melemparkan sesuatu yang jauh dapat direpresentasikan oleh suara sesuatu smashing.

Masalah: tidak semua hal telah dikaitkan arti : misalnya penyalinan

Aplikasi: SonicFinder untuk Macintosh yang Produk dan tindakan pada desktop telah dikaitkan suara

•         folder memiliki suara tipis

•         memindahkan file disertai dengan suara menyeret

•         menyalin ( masalah satu ) memiliki suara cairan yang dituangkan ke dalam wadah sebuah ; pitch meningkat menunjukkan kemajuan salinan

•         file-file besar memiliki suara lebih keras daripada yang lebih kecil Informasi tambahan juga dapat disajikan :

•         suara teredam mengindikasikan objek dikaburkan atau suatu tindakan di latar belakang

•         penggunaan stereo memungkinkan informasi posisi menjadi ditambahkan

Earcons

Suara sintetis yang digunakan untuk menyampaikan informasi Kombinasi terstruktur catatan, yang disebut motif, digunakan untuk mewakili tindakan dan benda-benda Motif dikombinasikan untuk memberikan informasi yang kaya

•         earcons senyawa beberapa motif dikombinasikan untuk membuat satu lagi earcon rumit : misalnya membuat icon diikuti dengan file icon catatan , mendapatkan nada tinggi – rendah.

•         earcons keluarga sejenis earcons mewakili kelas yang sama tindakan atau objek serupa : keluarga " kesalahan " akan nmengandung sintaks dan sistem operasi kesalahan Earcons mudah dikelompokkan dan diperbaiki karena sifat komposisi dan hirarkis Sulit untuk mengasosiasikan dengan tugas antarmuka karena tidak ada pemetaan alami

handwriting recognition

Handwriting adalah mekanisme komunikasi lain yang kita digunakan untuk teknologi Tulisan Tangan terdiri dari stroke yang kompleks dan ruang Ditangkap oleh digitalisasi tablet - stroke berubah menjadi urutan titik

•         tablet skala besar yang tersedia , lebih cocok untuk peta digitalisasi dan gambar teknis

•         perangkat yang lebih kecil , beberapa menggabungkan layar tipis untuk menampilkan informasi , menjadi tersedia misalnya yang diproduksi oleh Apple sebagai penyelenggara pribadi

pengakuan

masalah.

-          perbedaan pribadi dalam formasi huruf

-          Efek co – artikulasi

Keberhasilan terbatas adalah sistem yang dilatih pada beberapa pengguna , dengan huruf terpisah Multi-user secara alami ditulis pengakuan teks umum sistem saat ini tidak akurasi yang signifikan untuk menjadi sukses secara komersial

Teks dan Hypertext

Text ini bentuk umum dari output, dan sangat berguna dalam banyak situasi

-           membebankan kemajuan linear yang ketat pada pembaca , sesuai dengan ide penulis tentang apa yang terbaik – ini mungkin tidak ideal

Struktur hypertext blok teks ke dalam jala atau jaringan yang dapat dilalui dengan berbagai cara

-          memungkinkan pengguna untuk mengikuti ide-ide mereka sendiri dan konsep melalui informasi

• Sistem hypertext terdiri dari :

-          jumlah halaman , dan

-          Link , yang memungkinkan satu halaman yang akan diakses dari yang lain

contoh

Sebuah petunjuk teknis untuk mesin fotokopi mungkin memiliki semua kata-kata teknis terkait dengan definisi mereka dalam glossary . Dimungkinkan untuk mengikuti link sehingga

seseorang membaca semua informasi pada aspek tertentu dari sistem , seperti semua elektronik , atau mengikuti rute yang berbeda melalui data untuk memecahkan masalah dengan , katakanlah, menyalin dokumen dua sisi banyak halaman yang dikunjungi akan identik dalam kedua kasus, tetapi akan ditemui dalam urutan yang berbeda.

Hypermedia

Sistem hypermedia adalah sistem hypertext yang menggabungkan media tambahan , seperti ilustrasi , foto , video dan suara.

Terutama berguna untuk tujuan pendidikan

-          animasi dan grafis dapat memungkinkan pengguna untuk melihat terjadi hal-hal serta membaca

-          Struktur hypertextual memungkinkan pengguna untuk mengeksplorasi di langkah mereka sendiri setelah benang yang menarik perhatian mereka

Masalah

-          " hilang dalam hyperspace " - pengguna dapat yakin untuk di mana di web hypertext mereka. Peta dari hypertext adalah solusi parsial , tapi karena hypertexts bisa besar ini dapat menjadi sesuatu yang membingungkan.

-          Cakupan lengkap informasi

Karena ada begitu banyak rute yang berbeda melalui hypertext , adalah mungkin untuk kehilangan potongan , dengan mengambil rute yang menghindari daerah-daerah

-          Sulit untuk mencetak dan mengambil

Dokumen yang dicetak membutuhkan struktur linear ; itu bisa sulit untuk mendapatkan informasi yang relevan dicetak dengan cara yang rapi.

Animasi

Animasi mengacu pada penambahan gerak gambar ; mereka mengubah dan bergerak dalam waktu.

Contoh sederhana :

-          Jam

Digital wajah - detik film masa lalu Analog wajah - menyapu tangan kedua putaran terus-menerus Salvador Dali Jam - angka digital warp dan meleleh , satu digit ke depan.

-          Kursor

jam pasir / menonton / berputar disc menunjukkan sistem ini sibuk berkedip kursor menunjukkan posisi mengetik jelas berbagai jenis kursor pointer menunjukkan berbeda fungsi yang tersedia , atau berbeda modus

Animasi yang digunakan untuk efek yang besar untuk menunjukkan informasi temporal bervariasi. Berguna dalam pendidikan dan pelatihan : memungkinkan pengguna untuk melihat hal yang terjadi , serta menjadi menarik dan gambar menghibur di kanan mereka sendiri.

Contoh: Visualisasi Data

Perubahan mendadak dan halus dalam multi – dimensi data dapat divisualisasikan menggunakan animasi , berwarna permukaan yang riak dan berfluktuasi. Molekul kompleks dan interaksi mereka dapat lebih mudah dipahami ketika mereka ditarik dan pindah layar , diputar dan dilihat dari posisi sewenang-wenang .

Video dan Digital Video

Teknologi compact disc merevolusi sistem multimedia : sejumlah besar video, grafis , suara dan teks dapat disimpan dan mudah diambil pada relatif murah dan dapat diakses medium.

Pendekatan yang berbeda , ditandai dengan berbagai teknik kompresi yang memungkinkan lebih banyak data untuk diperas ke disk

• CD - I: sangat baik untuk kerja full-screen . video terbatas dan masih kemampuan gambar ; ditargetkan pada rumah tangga pasar.

• CD - XA ( eXtended Architecture ) : pengembangan CD -I , audio digital yang lebih baik dan gambar diam.

• DVI ( Digital Video Interactive ) / UVC ( Universal Video Communications ) : mendukung video gerak penuh.

Contoh: Palenque - sistem berbasis DVI

Prototipe sistem multimedia multimodal , di mana pengguna berkeliaran di sekitar sebuah situs Maya . Menggunakan video, gambar, teks dan suara . QuickTime dari Apple merupakan standar untuk memasukkan video ke dalam antarmuka. kompresi , penyimpanan , format dan sinkronisasi semua didefinisikan , memungkinkan berbagai aplikasi untuk menggabungkan

video dalam cara yang konsisten .

Memanfaatkan animasi dan video

Animasi dan video adalah alat berpotensi kuat

-          melihat keberhasilan televisi dan arcade game

Namun, standar pendekatan untuk antarmuka desain tidak memperhitungkan kemungkinan penuh media seperti Kita mungkin hanya akan mulai menuai manfaat penuh dari teknologi ini ketika kita memiliki lebih banyak pengalaman. Kita juga perlu belajar dari para ahli ini baru bentuk seni : desainer antarmuka perlu mendapatkan keterampilan pembuat film dan kartunis serta seniman dan penulis .

Aplikasi

Pengguna dengan kebutuhan memiliki kekhususan persyaratan yang sering dilayani oleh

multimedia dan / atau sistem multimodal.

• tunanetra - pembaca layar , SonicFinder

• cacat fisik - masukan pidato , gesture pengakuan , sistem prediksi (mis. Reactive Keyboard)

• ketidakmampuan belajar ( misalnya disleksia ) - masukan pidato , keluaran

Virtual Reality

Multimedia interaksi multimodal pada yang paling ekstrim , VR adalah simulasi komputer dari dunia di user yang tenggelam.

• headset memungkinkan pengguna untuk "melihat " dunia maya

• pengakuan gerakan dicapai dengan DataGlove ( lycra sarung tangan dengan sensor optik yang mengukur tangan dan jari posisi )

• Eyegaze memungkinkan pengguna untuk menunjukkan arah dengan mata saja

contoh :

VR dalam kimia - pengguna dapat memanipulasi molekul dalam ruang, mengubahnya dan mencoba menyesuaikan yang berbeda bersama-sama untuk memahami sifat dan reaksi Ikatan Simulator penerbangan - layar menunjukkan " dunia " di luar , sementara kontrol kokpit yang setia direproduksi dalam kotak hidrolik animasi.