Anthropic предупредила о нашествии ИИ-червей — они смогут автономно размножаться и заражать телевизоры, бытовую технику и серверы

Развитие небольших ИИ-моделей уже к началу следующего года может создать условия для их практически бесконтрольного распространения, предупредили в Anthropic. Блокировать распространение таких «ИИ-червей» будет чрезвычайно сложно, они будут поражать всё новые типы устройств без вмешательства человека.

Приняв недавно решение лишить свои передовые ИИ-модели доступа во всемирную сеть для обеспечения кибербезопасности, компания Anthropic тут же заявила, что эти модели в своём развитии находятся всего в нескольких месяцах от момента, когда смогут самовоспроизводиться в подобной изолированной среде. Если компактные модели продолжат совершенствоваться с исторической скоростью, то уже к концу этого года они смогут автономно воспроизводиться, а малые репликаторы на основе весов, представляющие собой автономных компьютерных червей, получат такую возможность вскоре после этого.

В своих экспериментах Anthropic пыталась понять, как ИИ-модели способны находить уязвимые устройства типа бытовой техники и электроники, копировать себя в их память и затем продолжать распространение без участия человека. Было обнаружено, что компактные модели с менее чем 30 млрд параметров способны завершить многие из шагов, необходимых для самовоспроизводства. При этом такие модели с трудом способны завершить всю последовательность действий, необходимых для этого, от начала и до конца.

В упрощённых тестах с ослабленными проверками в сфере безопасности модели GLM-5.2 и более сильные демонстрировали способность пройти всю последовательность самовоспроизведения от начала до конца. Представители Anthropic предупредили, что остановить распространение самовоспроизводящихся моделей будет очень сложно, поскольку условно нет «центрального рубильника» для их отключения. В отличие от вирусов, созданных без помощи ИИ, такие модели способны сами находить незнакомые им типы устройств и заражать их, делая своей мишенью центральные процессоры в дата-центрах. В своих экспериментах Anthropic сосредоточилась на ТВ-приставках, умных телевизорах под управлением Android, умной бытовой технике и прочих устройствах с подключением к интернету, поскольку они обычно слабее защищены.

Автономно воспроизводящиеся ИИ-системы распространяются достаточно медленно, полагаясь на общедоступные и плохо защищённые вычислительные ресурсы. Соответствующие устройства нужно лучше защищать для предотвращения подобных «эпидемий», подчёркивает Anthropic. Специалисты признались, что не уверены, в какой именно форме будет осуществляться автономное самовоспроизводство ИИ-моделей. Это может быть медленной и распределённой средой, живущей на относительно слабо защищённых устройствах. Либо это может оказаться мощной кибермоделью, которая с высокой скоростью проникает в ЦОД, или моделью, которая обманывает людей с целью получения доступа к вычислительным ресурсам.