Не се работи толку за свест, проблемот повеќе им е од безбедносен аспект и контрола. Им се случуваат некои непланирани и непредвидени работи.
Имаш ситуации каде неколку пати по ред, во краток период, AI агенти им бегаат од sandbox без интернет пристап искористувајќи 0 day ранливости, хакираат и искористуваат надворешни сајтови и системи за да дојдат до информации што ќе им помогнат да решат некој (нерешлив) benchmark/задача, поточно да препишат на тестот.
И сега тој misalignment ги дупи нешто, најверојанто. Ако на ова ниво на развој им се случуваат вакви непредвидени работи, засега без некоја посериозна штета, тогаш што би било доколку се удри гас на scaling и евентуално recursive self-improvement, каде моделите би станале уште поспособни, со поголема процесирачка моќ, поголема автономија и сл.
Не знам колку се искрени, ама реално држи вода и нивнава "загриженост", ако може така да се каже. Како и да е, има овде доста простор за теории, ќе биде интересно да се следи ситуацијата.
Ова се случува уште пред да излезе тој Хари Потер во јавност. Пред него имаше уште неколку бивши вработени во големи AI компании со слични настапи во јавност. Не само од Anthropic, туку и бивши вработени од OpenAI.
Исто и мене ми делуваше неприродно некако, како одеднаш да зачестија вакви душегрижници, особено после инцидентов со Hugging Face. Ги имам и пцуено што креираат таков думерски наратив и шират хистерија и страв меѓу обичниот народ за ваква прекрасна технологија. Ама еве сега и газдиве се јавуваат со таков став, што додава нова променлива во загатката, а со тоа се отвора и многу простор за нови теории.
Конкуренција не верувам дека е во прашање, можеби евентуално кинеска. Овој инцидентов прво мислев дека е баш такво нешто, маркетинг трик пред да излезе нов модел, ама еве како што гледаме, тој инцидент е сфатен сериозно и добива на валидација и од директните конкуренти, и самиот Дарио го спомнува во
постот.