Теперь, когда подхватываются внешние картинки с маркдауна в новостях, я займусь изготовлением конвертора новостей с OpenNet’a. Новости там хорошие, лицензия использовать позволяет, а комплексов NIH, как на лоре, у меня нет. Будем быстренько репостить и обсуждать.

На баше же есть массивы. Их можно забивать элементами динамически.
В один массив поместить отдельные слова, а в другой нули, как вес слова.
Разбив по пробельным строку сабжа с лора на массив, можно для каждого элемента нашего массива, пройтись по лоровскому и при совпадении делать по индексу инкремент веса в массив весов наших слов.
Теперь у нас есть кол-во слов (WC) и значения их весов (ARR), а так же известно максимальное значение (MAX). При превышении среднего значения, например, рассчитанного по формуле SUM(ARR)/WC порога в N% можно будет стриггерить дубликат сабжа.
у меня в прошлом дохрена стажа в айти и я не особо интересуюсь техническими обсуждениями на форуме.