Федоров В.М., Рублев Д.П. «Идентификация набираемого на клавиатуре текста по виброакустическим шумам» Известия Южного федерального университета. Технические науки, № 2, с. 67-73 (2014)

Рассмотрена проблема идентификация нажимаемых клавиш по виброакустическому сигналу, возникающему при работе пользователя с клавиатурой. Показаны возможность съёма идентифицирующих набранный текст данных по физическому (виброакустическому) каналу и преимущества данного метода, приведены модификации рабочего места оператора, описание стенда и программных средств. Рассмотрены особенности виброакустических сигналов, получаемых при работе пользователя с клавиатурой, произведён выбор устойчивых признаков, характеризующих нажатые клавиши из коэффициентов Фурье преобразования, кепстральных коэффициентов, коэффициентов линейного предсказания. Приведена схема синхронизации журнала клавиатурного регистратора и полученного виброакустического сигнала для получения точных сведений о локализации моментов нажатий/отпусканий клавиш и корректного формирования векторов признаков. Показана возможность идентификации клавиш по виброакустическим шумам, возникающим при наборе на клавиатуре, приведены зависимости оценок ошибок нейросетей от количества нейронов в скрытых слоях, выбора активационных функций и количества входных классов.